针对您提出的“非用工单位把派遣工退回派遣单位怎么赔偿”的问题，这确实是一个涉及劳务派遣中复杂法律关系的议题。以下是我为您详细梳理的解答：

首先，我们需要明确的是，用工单位退回派遣工并不直接等同于派遣单位需要支付赔偿。赔偿问题主要取决于退回的原因以及派遣单位后续的处理方式。

一、用工单位合法退回派遣工的情况

根据《劳务派遣暂行规定》第十二条，用工单位在以下情形下可以合法地将派遣工退回劳务派遣单位，且通常无需支付赔偿：

1. 客观情况发生重大变化：如用工单位经营困难、业务调整等，导致原劳动合同无法继续履行，且双方未能就变更合同达成一致。
2. 用工单位经营状况恶化：如用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或经营期限届满不再继续经营。
3. 劳务派遣协议期满终止：当劳务派遣协议约定的期限届满，且双方未续签时。

在合法退回的情况下，派遣单位应按照不低于所在地人民政府规定的最低工资标准，向派遣工按月支付报酬，并积极为其重新安排工作。此时，用工单位通常无需支付额外的赔偿。

二、用工单位违法退回派遣工的情况

如果用工单位违反法律规定或劳务派遣协议的约定，无正当理由地退回派遣工，导致派遣工受损，那么用工单位与劳务派遣单位可能需要承担连带赔偿责任。这种赔偿责任通常根据派遣工的实际损失来确定，包括但不限于退回前的工资标准、待岗时间、因此产生的额外费用等。

三、派遣单位解除劳动合同的情况

当派遣工被退回派遣单位后，派遣单位可能会根据具体情况决定是否解除劳动合同。此时，赔偿问题将依据《劳动合同法》的相关规定来处理：

1. 合法解除且无需支付补偿：如果派遣工存在严重违反规章制度、被依法追究刑事责任等情形，派遣单位可以合法解除劳动合同且无需支付经济补偿。
2. 合法解除但需支付经济补偿：如果派遣工因患病、非因工负伤等原因不能胜任工作，或派遣单位进行经济性裁员，派遣单位在解除劳动合同时应向派遣工支付经济补偿。经济补偿的计算方式通常按照派遣工在本单位的工作年限来确定。
3. 违法解除需支付赔偿金：如果派遣单位违反法律规定解除或终止劳动合同，派遣工有权要求继续履行合同或获得赔偿金。赔偿金的标准通常是经济补偿标准的二倍。

总结与建议

综上所述，非用工单位把派遣工退回派遣单位时，赔偿问题并非一概而论。它取决于退回的原因、派遣单位后续的处理方式以及是否存在违法行为等因素。因此，我建议您在遇到此类问题时：

1. 仔细审查相关证据：包括劳务派遣协议、劳动合同、退回通知等，以确定退回的原因和合法性。
2. 咨询专业律师或法律援助机构：他们可以提供详细的法律建议和帮助，确保您的权益得到妥善维护。
3. 积极与派遣单位沟通：了解派遣单位对退回派遣工的处理方式和态度，争取达成合理的解决方案。

希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的法律咨询，请随时告诉我。