工人退场时，监理单位是否有责任需视具体情况而定，不能一概而论。以下从不同角度进行分析：
监理单位的基本职责
监理单位在工程项目中主要承担监督、管理、协调等职责，确保工程按照设计要求、施工规范和相关法律法规进行。这包括对施工质量的监督、对施工进度的管理、对安全生产的监管等。然而，工人退场这一行为本身，并不直接属于监理单位的常规监督范畴，除非退场行为与工程质量、安全或进度有直接关联。
工人退场与监理单位责任的关系
正常退场情况：
- 如果工人退场是按照合同约定、工程进度需要或个人原因正常进行的，且退场过程中未发生任何安全事故或质量问题，那么监理单位通常不承担责任。
因质量问题退场：
- 如果工人退场是因为施工质量不达标，且监理单位在监督过程中未能及时发现或纠正这一问题，导致工人需要返工或退场，那么监理单位可能因监督不力而承担一定的责任。但这种责任通常与施工单位的质量责任并存，需要具体分析。
因安全事故退场：
- 如果工人退场是因为发生了安全事故，且监理单位在安全监管方面存在疏忽或未履行职责，如未对危险作业进行及时制止、未对安全设施进行定期检查等，那么监理单位可能因安全监管不力而承担责任。
因合同纠纷退场：
- 如果工人退场是因为与施工单位之间的合同纠纷，如工资支付问题、工作条件问题等，这通常属于施工单位与工人之间的民事纠纷，监理单位一般不直接承担责任。但监理单位有义务在合同执行过程中进行监督，确保合同双方履行各自义务。
法律建议
- 对于工人：如果认为退场与监理单位有关，且监理单位存在过错，可以收集相关证据（如监理报告、现场照片、证人证言等），通过法律途径维护自己的权益。
- 对于监理单位：应严格履行监理职责，加强对工程质量、安全和进度的监督，确保工程顺利进行。同时，应建立健全的监理档案，记录监理过程中的重要事项，以备查证。
- 对于施工单位：应与工人签订明确的劳动合同，明确双方的权利和义务。在工人退场时，应妥善处理相关事宜，避免引发纠纷。
若您有具体的工人退场情况或相关证据，可以直接向我咨询，我会根据具体情况为您提供更详细的法律建议。