核心结论：非协议主体无权直接将派遣工退回派遣单位，若其擅自退回，派遣工的赔偿问题需根据具体情况分析，主要涉及派遣单位、用工单位及派遣工三方关系，以下分情况说明：

1. 若派遣单位与用工单位签订的劳务派遣协议中有明确约定：

   • 协议中可能规定了非协议主体（如用工单位的某个部门或员工）擅自退回派遣工时的处理方式及责任承担。若协议中有此类条款，且派遣工被退回的情况符合协议约定的情形，则派遣单位和用工单位应按照协议约定处理赔偿事宜。例如，协议可能规定用工单位需向派遣单位支付违约金，派遣单位再根据与派遣工的劳动合同及实际情况，决定是否向派遣工支付经济补偿或赔偿金。
   • 赔偿依据：主要依据劳务派遣协议中的约定，以及《劳动合同法》中关于劳务派遣的相关规定。

2. 若劳务派遣协议中无明确约定：

   • 非协议主体擅自退回派遣工，可能构成用工单位对劳务派遣协议的违约。此时，派遣单位有权要求用工单位承担违约责任，包括赔偿因违约造成的损失。
   • 对于派遣工而言，若其被无故退回，且派遣单位未为其安排新的工作或解除劳动合同，派遣工有权要求派遣单位继续履行劳动合同或支付经济补偿。经济补偿的标准通常按照派遣工在派遣单位的工作年限，每满一年支付一个月工资的标准计算。
   • 赔偿依据：主要依据《劳动合同法》中关于劳务派遣、劳动合同解除及经济补偿的相关规定。

3. 特殊情况下的赔偿：

   • 若派遣工被退回后，派遣单位立即与其解除劳动合同，且解除理由不成立（如无合法理由或未按照法定程序解除），则派遣工有权要求派遣单位支付违法解除劳动合同的赔偿金。赔偿金的标准为经济补偿标准的两倍。
   • 若派遣工因被退回而遭受其他损失（如失业期间的收入损失、精神损害等），且该损失与用工单位或派遣单位的违法行为有直接因果关系，派遣工也有权要求相关责任方进行赔偿。
   • 赔偿依据：主要依据《劳动合同法》中关于违法解除劳动合同的赔偿金规定，以及《民法典》中关于侵权责任的相关规定。

建议行动：

• 派遣工应首先查看与派遣单位签订的劳动合同及派遣单位与用工单位签订的劳务派遣协议，了解自己的权益及可能的赔偿途径。
• 若认为自己的权益受到侵害，可与派遣单位和用工单位进行协商，寻求妥善解决方案。
• 若协商无果，可向当地劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。

如有进一步疑问或需要具体法律帮助，请直接向我咨询。