结论：非用工单位（这里应指用工单位，假设为表述误差）在符合法定或约定情形时，将派遣工退回派遣单位是合法的；否则，退回行为不合法。
合法退回的情形
根据《中华人民共和国劳动合同法》及《劳务派遣暂行规定》，用工单位在以下情形下可以将劳动者退回劳务派遣单位：
劳动者个人原因：
- 在试用期间被证明不符合录用条件；
- 严重违反用工单位的规章制度；
- 严重失职，营私舞弊，给用工单位造成重大损害；
- 同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或经用工单位提出，拒不改正；
- 使用欺诈、胁迫手段或乘人之危，使对方在违背真实意思的情况下订立或变更劳动合同，导致合同无效；
- 被依法追究刑事责任；
- 患病或非因工负伤，医疗期满后不能从事原工作或用工单位另行安排的工作；
- 不能胜任工作，经过培训或调整岗位仍不能胜任。
用工单位原因：
- 劳动合同订立时的客观情况发生重大变化，致使合同无法履行，且未能就变更合同内容达成协议；
- 经济性裁员，如企业破产重整、生产经营严重困难等；
- 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或经营期限届满不再继续经营；
- 劳务派遣协议期满终止。
此外，如果劳务派遣协议中明确约定了退回情形，且这些情形不违反法律法规，用工单位也可依约退回劳动者。
不合法退回的情形
- 如果劳动者没有上述法定或约定的可退回情形，用工单位随意将其退回劳务派遣单位，则此退回行为不合法。
- 如果劳务派遣协议中没有约定退回情形，或退回情形与法律法规相悖，用工单位的退回行为同样不具有合法性。
退回程序与注意事项
- 在退回劳动者之前，用工单位应与劳务派遣单位充分沟通，并按照劳务派遣协议的约定进行操作。
- 退回过程中应确保劳动者的合法权益不受侵害，如支付相应的经济补偿（如果符合支付经济补偿的情形）等。
- 退回必须依法进行，不得违反相关法律法规的规定。
退回后的处理
- 被退回的劳动者在无工作期间，劳务派遣单位应按不低于所在地人民政府规定的最低工资标准向其按月支付报酬。
- 如果退回理由符合《劳动合同法》中可以被解除劳动合同的情形，劳务派遣单位可以依法解除与被退回劳动者的劳动合同。
劳动者权益保护
- 劳动者认为用工单位将其退回劳务派遣单位的行为不合法时，有权与劳务派遣单位和用工单位协商解决。
- 协商不成时，劳动者可以通过劳动仲裁等法律途径维护自己的合法权益。
建议：作为派遣工，如果遭遇非法的退回行为，首先要保持冷静，收集并保存好相关证据，如劳动合同、劳务派遣协议、退回通知等。然后，可以尝试与劳务派遣单位和用工单位进行协商，看是否能够达成和解。如果协商无果，那么可以考虑通过劳动仲裁等法律途径来维护自己的合法权益。在整个过程中，如果感到困惑或无助，可以随时向我咨询，我会根据你的具体情况，提供专业的法律建议。