劳务派遣被用人单位退回是否有赔偿金，需分情况讨论。以下是对此问题的详细分析：
一、有经济补偿的情况
劳动合同订立依据的客观情况发生重大变化：
- 若用工单位因客观经济情况变化（如经营困难、业务调整等）导致无法继续履行原岗位，且双方未能就变更合同达成一致时，劳动者被退回劳务派遣单位，劳务派遣单位在重新派遣时若维持或提高劳动合同约定条件而劳动者不同意，导致劳动合同解除的，劳务派遣单位需按劳动者在本单位工作的年限支付经济补偿。具体标准为：每满一年支付一个月工资；六个月以上不满一年的，按一年计算；不满六个月的，支付半个月工资的经济补偿。
用工单位存在过错：
- 若用工单位未依约提供劳动保护或条件、未及时支付劳动报酬、未依法缴纳社会保险费、规章制度违法损害权益、欺诈胁迫或乘人之危订立合同、免除法定责任或排除合法权利，以及法律行政法规规定的其他情形，导致劳动者被退回的，劳动者有权要求用工单位或劳务派遣单位承担相应责任，包括支付经济补偿。
二、无经济补偿的情况
协商一致退回：
- 若用工单位与派遣单位、劳动者三方达成书面协议，明确约定退回事宜且不涉及补偿，那么劳动者被退回后通常无法获得经济补偿。
劳动者自身过错：
- 若劳动者在试用期内不符合录用条件、存在严重违规违纪行为、失职或营私舞弊造成损失、双重劳动关系影响工作、欺诈手段订立合同，或被追究刑事责任等，用工单位有权依法将其退回劳务派遣单位，并由劳务派遣单位解除劳动合同，这种情况下无需支付经济补偿。
三、特殊情形下的赔偿
- 违法辞退：
- 若用工单位无正当理由随意将劳务派遣工退回，或劳务派遣单位没有法定理由解除与劳务派遣工的劳动合同，均属于违法行为。此时，劳务派遣工有权获得经济补偿，甚至可能要求双倍赔偿（即按照经济补偿标准的二倍支付赔偿金）。
四、维权建议
保留证据：
- 劳动者应保留好劳动合同、工资条、工作证、考勤记录、辞退通知等相关证据，以证明劳动关系、工作年限及辞退原因。
协商解决：
- 在发生争议时，劳动者可以首先尝试与劳务派遣单位和用工单位进行协商，明确赔偿金额和支付主体。
法律途径：
- 若协商无果，劳动者可以向劳动争议仲裁委员会申请仲裁，或直接向人民法院提起诉讼，以维护自身合法权益。
总结：劳务派遣被用人单位退回是否有赔偿金，取决于辞退的原因以及劳务派遣工与劳务派遣单位、用工单位之间的具体约定。在面对此类问题时，劳动者应充分了解自身权益和法律规定，并根据具体情况判断是否有权获得赔偿。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。