结论前置：用工单位合法退回派遣人员时，是否需要承担经济补偿金，需根据退回的具体原因及劳务派遣单位后续的处理方式来判断。以下分情况详细说明：
一、无需支付经济补偿金的情况
劳动者自身原因：
- 若劳务派遣员工因严重违反用工单位的规章制度、在试用期间被证明不符合录用条件、严重失职或营私舞弊给用工单位造成重大损害、同时与其他用人单位建立劳动关系对完成本单位工作任务造成严重影响且拒不改正、因欺诈手段订立劳动合同或被依法追究刑事责任等自身原因被退回，用工单位通常无需支付经济补偿金。这些情形均符合《中华人民共和国劳动合同法》第三十九条的规定，用工单位有权将劳动者退回劳务派遣单位，且无需承担经济补偿责任。
协商一致退回：
- 用工单位与派遣单位、劳动者三方达成书面协议，明确约定退回事宜且不涉及补偿的，用工单位也无需支付经济补偿金。这种情况下，退回是基于各方的自愿和协商一致，不涉及违法或违约行为。
劳务派遣协议期满或劳务派遣单位原因解除：
- 劳务派遣协议期满终止，或劳务派遣单位因劳动者有过错而解除劳动合同的，用工单位同样无需支付经济补偿金。因为此时的经济补偿责任应由劳务派遣单位承担，而非用工单位。
二、需要支付经济补偿金或赔偿金的情况
用工单位原因导致退回：
- 如果因用工单位自身原因导致劳务派遣关系解除，如用工单位破产、被吊销营业执照、责令关闭、撤销或者用人单位决定提前解散等，致使劳务派遣协议无法履行，或者用工单位无故退回劳动者且给劳动者造成损害的，用工单位可能需要与劳务派遣单位承担连带赔偿责任。这种情况下，用工单位的行为可能构成违法或违约，需要承担相应的法律责任。
劳务派遣单位未妥善安排工作或解除劳动合同：
- 当出现《中华人民共和国劳动合同法》第四十条第一项、第二项或第四十一条规定的情形（如劳动者患病或非因工负伤不能胜任工作、经济性裁员等），用工单位将劳务派遣工退回劳务派遣单位。此时，若劳务派遣单位重新派遣时降低劳动合同约定条件且劳动者不同意，或者劳务派遣单位未为劳动者安排新工作并解除劳动合同，则需向劳动者支付经济补偿或赔偿金。经济补偿的标准按劳动者在本单位工作的年限计算，每满一年支付一个月工资，六个月以上不满一年的按一年计算，不满六个月的支付半个月工资。若劳务派遣单位违反规定解除或终止劳动合同，且劳动者不要求继续履行劳动合同或劳动合同已无法继续履行，劳务派遣单位还应依照经济补偿标准的二倍向劳动者支付赔偿金。
三、经济补偿金或赔偿金的计算标准
经济补偿金：根据《中华人民共和国劳动合同法》第四十七条的规定，经济补偿金按劳动者在本单位工作的年限计算，具体为：每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。月工资是指劳动者在劳动合同解除或者终止前十二个月的平均工资。若劳动者月工资高于用人单位所在直辖市、设区的市级人民政府公布的本地区上年度职工月平均工资三倍的，向其支付经济补偿的标准按职工月平均工资三倍的数额支付，向其支付经济补偿的年限最高不超过十二年。
赔偿金：若劳务派遣单位违反规定解除或终止劳动合同，且劳动者不要求继续履行劳动合同或劳动合同已无法继续履行，劳务派遣单位应依照经济补偿标准的二倍向劳动者支付赔偿金。
总结与建议：用工单位在退回劳务派遣员工时，应仔细审查退回的原因及劳务派遣单位后续的处理方式，以确定是否需要承担经济补偿金或赔偿金。劳动者在遭遇劳务派遣退回时，也应及时与劳务派遣单位沟通，了解具体情况，并依据法律规定维护自身合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。