非用工单位（这里应理解为用工单位，因为只有用工单位才有权退回劳务派遣工）在符合法定或约定情形时，将派遣工退回派遣单位是合法的；否则，退回行为不合法。以下是对此问题的详细分析：
合法退回的情形
劳动者个人原因：
- 在试用期间被证明不符合录用条件；
- 严重违反用工单位的规章制度；
- 严重失职，营私舞弊，给用工单位造成重大损害；
- 同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或经用工单位提出，拒不改正；
- 使用欺诈、胁迫手段或乘人之危，使对方在违背真实意思的情况下订立或变更劳动合同，导致合同无效；
- 被依法追究刑事责任；
- 患病或非因工负伤，医疗期满后不能从事原工作或用工单位另行安排的工作；
- 不能胜任工作，经过培训或调整岗位仍不能胜任。
用工单位原因：
- 劳动合同订立时的客观情况发生重大变化，致使合同无法履行，且未能就变更合同内容达成协议；
- 经济性裁员，如企业破产重整、生产经营严重困难等；
- 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或经营期限届满不再继续经营；
- 劳务派遣协议期满终止。
其他约定情形：
- 如果劳务派遣协议中明确约定了退回情形，且这些情形不违反法律法规，用工单位也可依约退回劳动者。
不合法退回的情形
- 如果劳动者没有上述法定或约定的可退回情形，用工单位随意将其退回劳务派遣单位，则此退回行为不合法。
- 如果劳务派遣协议中没有约定退回情形，或退回情形与法律法规相悖，用工单位的退回行为同样不具有合法性。
- 特别保护情形：法律对某些特定劳动者提供了特别保护，如从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间；在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力；患病或非因工负伤，在规定的医疗期内；女职工在孕期、产期、哺乳期；在本单位连续工作满十五年，且距法定退休年龄不足五年等。在这些情形下，用工单位不得将劳动者退回劳务派遣单位。
退回程序与注意事项
- 在退回劳动者之前，用工单位应与劳务派遣单位充分沟通，并按照劳务派遣协议的约定进行操作。
- 退回过程中应确保劳动者的合法权益不受侵害，如支付相应的经济补偿等。
- 退回必须依法进行，不得违反相关法律法规的规定。
退回后的处理
- 被退回的劳动者在无工作期间，劳务派遣单位应按不低于所在地人民政府规定的最低工资标准向其按月支付报酬。
- 如果退回理由符合《劳动合同法》中可以被解除劳动合同的情形，劳务派遣单位可以依法解除与被退回劳动者的劳动合同。
劳动者权益保护
- 劳动者认为用工单位将其退回劳务派遣单位的行为不合法时，有权与劳务派遣单位和用工单位协商解决。
- 协商不成时，劳动者可以通过劳动仲裁等法律途径维护自己的合法权益。
总结与建议：用工单位在退回劳动者至劳务派遣单位时，必须严格遵守相关法律法规及合同约定，确保退工行为的合法性与合理性。建议用工单位在签订劳动合同及派遣协议时，明确约定退工条件及程序，以避免后续纠纷。同时，对于可能出现的争议，应积极与劳动者、劳务派遣单位沟通协商，寻求妥善解决方案。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。