非用工单位（此处应理解为用工单位，因非用工单位无权直接退回派遣工）在符合法定或约定情形下，可以把派遣工退回派遣单位，但此过程必须严格遵循相关法律法规。以下是对此问题的详细解析：
一、法定退回情形
根据《中华人民共和国劳动合同法》及《劳务派遣暂行规定》，用工单位在以下法定情形下可将派遣工退回劳务派遣单位：
劳动者过错类：
- 严重违反用工单位的规章制度（如连续旷工超过规定天数）；
- 严重失职或营私舞弊，给用工单位造成重大损害（如因操作失误导致设备报废）；
- 被依法追究刑事责任；
- 其他《劳动合同法》第三十九条规定的过错情形，如同时与其他用人单位建立劳动关系且拒不改正等。
非过失性辞退类：
- 劳动者患病或非因工负伤，医疗期满后不能从事原工作也不能从事另行安排的工作；
- 不能胜任工作，经培训或调岗后仍不能胜任；
- 客观情况发生重大变化（如经济性裁员、市政规划调整导致工厂搬迁且劳动者无法随迁等），致使劳动合同无法履行，且经协商未能就变更劳动合同内容达成协议。
用工单位特殊情况：
- 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或经营期限届满不再继续经营。
二、约定退回情形
除法定情形外，若劳务派遣协议中明确约定了其他退回情形，且该约定不违反法律法规强制性规定，当这些约定情形出现时，用工单位同样可将派遣工退回派遣单位。
三、禁止退回的情形
法律也规定了禁止用工单位退回派遣工的情形，主要包括：
- 从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间；
- 在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力；
- 患病或非因工负伤，在规定的医疗期内；
- 女职工在孕期、产期、哺乳期；
- 在本单位连续工作满十五年，且距法定退休年龄不足五年；
- 法律、行政法规规定的其他不得退回的情形。
四、退回程序与注意事项
程序要求：
- 用工单位需提前向劳务派遣单位发出书面通知，说明退回的原因和依据；
- 通常还需与派遣工进行沟通，并填写相关申请表格；
- 办理退回手续，如出具退回证明、办理社保和公积金转移等。
注意事项：
- 用工单位必须遵守相关法律法规，否则可能面临法律责任，包括连带赔偿责任；
- 劳务派遣工被退回后，劳务派遣单位应继续履行劳动合同义务，如支付工资、缴纳社保等，并积极为其寻找新的用工单位重新派遣。
五、违法退回的后果
若用工单位违反法律规定或合同约定，无故或非法将派遣工退回劳务派遣单位，可能面临以下后果：
- 派遣工有权要求恢复劳动关系；
- 若恢复劳动关系不可行或派遣工选择不接受，用工单位和劳务派遣单位可能需共同支付赔偿金；
- 可能面临劳动行政部门的处罚，包括但不限于罚款、警告等。
总结与建议：用工单位在退回派遣工至劳务派遣单位时，必须严格遵守相关法律法规及合同约定，确保退工行为的合法性与合理性。建议用工单位在签订劳动合同及派遣协议时，明确约定退工条件及程序，以避免后续纠纷。同时，对于可能出现的争议，应积极与派遣工、劳务派遣单位沟通协商，寻求妥善解决方案。如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。