劳务派遣工被退回派遣单位是否需要赔偿，主要取决于退回的具体原因、是否符合法律规定及合同约定，以及劳务派遣单位和用工单位的后续处理行为。以下是对此问题的详细分析：
一、无需赔偿的情况
劳动者自身原因：
- 根据《中华人民共和国劳动合同法》第三十九条，若劳动者在试用期间被证明不符合录用条件；严重违反用人单位的规章制度；严重失职，营私舞弊，给用人单位造成重大损害；同时与其他用人单位建立劳动关系，对完成本单位工作任务造成严重影响，或者经用人单位提出，拒不改正；以欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同，致使劳动合同无效；被依法追究刑事责任，用工单位可将劳动者退回劳务派遣单位，且无需支付经济补偿或赔偿金。
- 例子：小李在试用期内因工作能力不足，未能达到用工单位的录用标准，被用工单位退回派遣单位，此时用工单位无需支付赔偿。
合法的约定原因：
- 如派遣协议期满终止等基于合法约定的原因，用工单位将劳动者退回派遣单位，也通常无需赔偿。
- 例子：小张与派遣单位签订的派遣协议即将到期，用工单位因业务调整不再需要小张，按照协议约定将其退回派遣单位，此时用工单位无需支付赔偿。
劳务派遣单位重新派遣：
- 当劳动者被依法退回后，劳务派遣单位如积极履行职责，在合理时间内为劳动者安排新的工作岗位，且不存在违法解除劳动合同等情况，一般不需要向劳动者赔偿。
- 例子：小王被用工单位退回派遣单位后，派遣单位在一个月内为其找到了新的工作岗位，小王接受了新岗位，此时派遣单位无需支付赔偿。
二、可能需要赔偿的情况
用工单位违反法律规定：
- 若用工单位无正当理由随意退回劳动者，或在劳动者没有过错且不符合法定退回情形时退回，可能需承担相应责任。虽通常是由用工单位向劳务派遣单位承担违约责任，但若因此给劳动者造成损害，用工单位与劳务派遣单位需承担连带赔偿责任。
- 例子：小赵在用工单位工作表现良好，无任何违规行为，但用工单位因内部调整无故将其退回派遣单位，导致小赵失业，此时用工单位和派遣单位可能需要承担连带赔偿责任。
劳务派遣单位违法解除：
- 若劳务派遣单位在劳动者被退回后，无正当理由解除与劳动者的劳动合同，属于违法解除。根据《中华人民共和国劳动合同法》，劳务派遣单位需按照经济补偿标准的二倍向劳动者支付赔偿金。
- 经济补偿标准：按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，支付半个月工资的经济补偿。月工资指劳动合同解除或终止前十二个月的平均工资。
- 例子：小陈被用工单位退回派遣单位后，派遣单位以“业务调整”为由解除与小陈的劳动合同，但未提供合理依据，属于违法解除，需支付赔偿金。
三、特殊情况下的处理
- 月工资计算标准及特殊规定：若劳动者月工资高于所在地区上年度职工月平均工资的三倍，经济补偿标准将按职工月平均工资三倍的数额支付，且支付年限最高不超过十二年。
- 争议解决途径：劳务派遣工在遭遇退回纠纷时，应收集相关证据如退回通知、工作记录等，并通过劳动仲裁等合法途径解决争议，以维护自身合法权益。
总结来说，劳务派遣工被退回派遣单位是否需要赔偿，需根据具体情况判断。若因劳动者自身原因或合法约定原因被退回，通常无需赔偿；若因用工单位或派遣单位违反法律规定导致被退回或解除劳动合同，则可能需要支付赔偿金。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。