关于工伤劳动者解除劳动关系时间的认定，这是一个涉及工伤保险条例及相关法律法规的复杂问题。以下是我为您提供的详细解答：
一、基本原则
工伤劳动者解除劳动关系的时间认定，主要依据的是劳动者停工留薪期的结束时间以及双方后续的行为和意愿。在停工留薪期内，劳动者享有保持原工资、福利、待遇不变的权益，用人单位不得解除劳动合同。停工留薪期满后，劳动关系的解除则取决于双方是否继续履行劳动合同的意愿和实际情况。
二、具体认定
停工留薪期满次日：
- 通常情况下，如果工伤劳动者在停工留薪期满后未再回到用人单位工作，且用人单位也未再向其支付劳动报酬，那么可以认为双方的事实劳动关系已于停工留薪期满次日实际终止。
- 这一认定基于劳动者在停工留薪期满后已具备恢复工作的能力，但双方均未采取进一步行动来维持劳动关系。
提交劳动仲裁申请之日或仲裁委立案受理之日：
- 在某些情况下，工伤劳动者可能在停工留薪期满后选择通过法律途径来维护自己的权益，如提交劳动仲裁申请。
- 然而，这并不意味着劳动关系在提交申请或立案受理之日才解除。实际上，劳动关系的解除时间应更侧重于双方实际行为和意愿的考察，而非单纯依据法律程序的启动时间。
法院判决或裁决确定之日：
- 如果双方因劳动关系解除时间产生争议并诉至法院，那么法院的判决或裁决将成为确定劳动关系解除时间的最终依据。
- 法院在判决时会综合考虑双方的行为、意愿、停工留薪期结束时间以及相关法律法规的规定。
三、案例分析
以您提供的案例为例，毛先生在停工留薪期满后未再回到建筑公司工作，且建筑公司也未再向其支付劳动报酬。在这种情况下，可以认为双方的事实劳动关系已于停工留薪期满次日实际终止。尽管毛先生后续提交了劳动仲裁申请，并经历了调解、仲裁和诉讼等程序，但这些法律程序的启动并不改变劳动关系实际终止的时间。
四、相关法律法规
- 《工伤保险条例》：该条例规定了工伤劳动者的权益保障措施，包括停工留薪期的设定和工伤保险待遇的支付等。
- 《湖北省工伤保险实施办法》（或当地相应法规）：该办法可能进一步细化了工伤保险的具体实施细则，包括一次性伤残就业补助金的支付标准和条件等。
- 相关司法解释和判例：法院在判决时会参考相关的司法解释和判例，以确保判决的公正性和合理性。
五、建议
- 对于工伤劳动者而言，在停工留薪期满后应及时与用人单位沟通，明确自己的工作安排和劳动关系状态。
- 如果双方因劳动关系解除时间产生争议，建议首先通过协商或调解等和平方式解决；如果无法达成一致，再考虑通过法律途径来维护自己的权益。
综上所述，工伤劳动者解除劳动关系的时间认定应综合考虑停工留薪期结束时间、双方实际行为和意愿以及相关法律法规的规定。希望以上解答能对您有所帮助。如果您还有其他问题或需要进一步的法律咨询，请随时告诉我。