当派遣工被非用工单位（这里主要指劳务派遣单位，但问题聚焦于非用工单位即派遣单位的违法退回情况）违法退回时，其赔偿问题主要依据《中华人民共和国劳动合同法》及相关法律法规进行。以下是对此问题的详细解答：
一、违法退回的认定
首先，需要明确什么是违法退回。根据《劳务派遣暂行规定》，用工单位在特定情形外将派遣工退回劳务派遣单位可能构成违法退回。这些特定情形通常包括经营困难、劳务派遣协议期满终止（但派遣工无过错且符合续签条件时不得随意退回）、协商一致（如用工单位破产、解散等）以及劳动者自身原因（如严重违反规章制度等）。若派遣单位在无合法理由的情况下退回派遣工，则可能构成违法退回。
二、赔偿标准与方式
继续履行劳动合同：
- 若派遣工被违法退回后，劳务派遣单位未立即解除劳动合同，而是选择继续履行原劳动合同或与派遣工协商变更劳动合同内容，则派遣工有权要求恢复工作岗位或调整至合适岗位，并继续享受原有工资待遇及福利待遇。
支付赔偿金：
- 若劳务派遣单位因违法退回而解除劳动合同，则构成违法解除，需按照经济补偿标准的二倍向派遣工支付赔偿金。
- 经济补偿按派遣工在本单位工作的年限计算，每满一年支付一个月工资；六个月以上不满一年的，按一年计算；不满六个月的，向派遣工支付半个月工资的经济补偿。
- 月工资是指派遣工在劳动合同解除前十二个月的平均工资。若劳动者月工资高于用人单位所在直辖市、设区的市级人民政府公布的本地区上年度职工月平均工资三倍的，向其支付经济补偿的标准按职工月平均工资三倍的数额支付，向其支付经济补偿的年限最高不超过十二年。
补发工资差额及其他损失：
- 若因违法退回导致派遣工工资降低或其他经济损失，派遣工有权要求劳务派遣单位补足工资差额，并赔偿因此造成的其他直接经济损失，如福利待遇损失、社保缴纳中断导致的损失等。
三、维权途径
协商解决：
- 派遣工可与劳务派遣单位进行协商，寻求和解方案，如恢复工作岗位、支付赔偿金等。
申请劳动仲裁：
- 若协商无果，派遣工可向当地劳动争议仲裁委员会申请仲裁，要求确认违法退回行为无效，并主张相应的赔偿。
提起诉讼：
- 对仲裁结果不服的，派遣工可在法定期限内向人民法院提起诉讼，通过司法程序维护自身权益。
四、注意事项
- 在处理此类纠纷时，派遣工应保留好相关证据，如劳动合同、工资单、退回通知等，以便在协商、仲裁或诉讼过程中证明自己的权益。
- 派遣工应了解自己的合法权益，并在遭遇违法退回时及时采取行动，避免错过维权时机。
综上所述，当派遣工被非用工单位（劳务派遣单位）违法退回时，其有权要求继续履行劳动合同、支付赔偿金以及补发工资差额和其他损失。若协商无果，可通过申请劳动仲裁或提起诉讼来维护自身权益。