用工单位退回劳务派遣人员，若不符合法定退回情形，则可能构成违法退回，需与劳务派遣单位承担连带赔偿责任。具体责任承担需根据退回原因及法律法规来判定。以下是详细分析：
因被派遣劳动者自身原因导致退回：
- 若派遣员工在试用期内不符合录用条件、严重违反规章制度、严重失职或营私舞弊、建立多重劳动关系、以欺诈或胁迫手段订立合同、被追究刑事责任等，用工单位有权将其退回，且通常无需承担赔偿责任。
- 但若因派遣员工患病或非因工负伤、不能胜任工作（经培训或调整岗位后仍不能胜任）而被退回，用工单位需确保退回行为符合法律法规，否则可能需承担相应责任。
因用工单位自身原因导致退回：
- 若因用工单位客观情况发生重大变化（如产业结构调整、部门撤销）、企业重整或经营困难、转产或技术革新等导致劳动合同无法履行，且双方未能就变更内容达成协议，用工单位可退回派遣员工。但在此情况下，用工单位需依法进行经济补偿或与劳务派遣单位协商处理，以避免违法退回导致的法律责任。
因劳务派遣协议期满导致退回：
- 当劳务派遣协议到期且未续签时，用工单位可将派遣员工退回劳务派遣单位。但在此过程中，用工单位需确保退回行为符合协议约定及法律法规要求，否则可能需承担连带责任。
其他特定情形：
- 如三方协商一致或劳务派遣协议中约定了其他合法合规的退回情形，用工单位可依约退回派遣员工。但同样需确保退回行为符合法律法规及协议约定，以避免法律责任。
重要提示：
- 用工单位在退回派遣员工时，必须严格遵循《劳动合同法》及《劳务派遣暂行规定》等相关法律法规，确保退回行为合法合规。
- 若因违法退回给派遣员工造成损害，劳务派遣单位与用工单位需承担连带赔偿责任。因此，用工单位在退回派遣员工前，应充分评估法律风险并咨询专业律师意见。
结论补充：
- 劳务派遣人员被辞退时，赔偿责任主体需视具体情况而定。若因用工单位原因退回且劳务派遣单位无法重新派遣导致合同解除，劳务派遣单位应支付经济补偿；若因派遣单位过错辞退，则由派遣单位承担赔偿责任；若因派遣人员自身过错被辞退，则可能无法获得赔偿。因此，在处理劳务派遣人员退回及辞退问题时，需仔细分析责任归属并依法处理。