劳务派遣的解除劳动合同应向谁主张责任，需根据具体情况判断责任主体，主要分为以下几种情况：

1. 因用工单位违法退回导致解除合同

   • 责任主体：若用工单位存在违法行为（如无正当理由退回、违反“同工同酬”原则等），导致劳务派遣单位解除劳动合同，用工单位需承担连带赔偿责任。
   • 法律依据：根据《劳动合同法》第92条，用工单位给被派遣劳动者造成损害的，劳务派遣单位与用工单位承担连带赔偿责任。
   • 赔偿内容：包括经济补偿金、赔偿金以及补缴社保等。例如，若因用工单位违法退回导致劳动者被解雇，劳动者可同时向派遣单位主张赔偿金（通常为2N个月工资，N为工作年限），并向用工单位主张连带责任。

2. 劳务派遣单位自身违法行为导致解除合同

   • 责任主体：若劳务派遣单位存在违法行为（如未支付工资、未缴社保、违法解除劳动合同等），则直接向劳务派遣单位主张权利。
   • 法律依据：根据《劳动合同法》第58条，劳务派遣单位是用人单位，承担支付报酬、缴纳社保等义务。若派遣单位违法解除劳动合同，还需按经济补偿标准的二倍支付赔偿金。
   • 赔偿内容：包括拖欠的工资、经济补偿金或赔偿金等。例如，若派遣单位拖欠工资后解约，劳动者可主张拖欠工资及50%-100%的赔偿金。

3. 协商一致解除合同

   • 责任主体：若劳务派遣单位与劳动者协商一致解除合同，且由派遣单位提出解除动议，则派遣单位需支付经济补偿。
   • 法律依据：根据《劳动合同法》第46条，用人单位依照本法第三十六条规定向劳动者提出解除劳动合同并与劳动者协商一致解除劳动合同的，应当向劳动者支付经济补偿。
   • 赔偿内容：经济补偿按劳动者在本单位工作年限计算，每满一年支付一个月工资，六个月以上不满一年按一年计算，不满六个月支付半个月工资。

4. 劳动者存在过错导致解除合同

   • 责任主体：若劳动者存在法定过错（如严重违反规章制度、严重失职等），劳务派遣单位可依法解除劳动合同，且通常无需支付赔偿金。
   • 法律依据：根据《劳动合同法》第39条，劳动者有下列情形之一的，用人单位可以解除劳动合同：（一）在试用期间被证明不符合录用条件的；（二）严重违反用人单位的规章制度的；（三）严重失职，营私舞弊，给用人单位造成重大损害的等。

维权步骤建议：

1. 证据收集：收集劳动合同、工资流水、社保记录、辞退通知书、用工单位退回证明等证据，以证明辞退是否合法及赔偿主张的合理性。
2. 协商与投诉：先与劳务派遣单位或用工单位协商，要求书面说明辞退原因及赔偿方案。若协商无果，可向劳动监察部门投诉或通过工会介入调解。
3. 仲裁与诉讼：若协商和投诉均未能解决问题，可向劳动争议仲裁委员会申请仲裁，列明派遣单位和用工单位为共同被申请人。对仲裁结果不服的，可在15日内向法院起诉。

注意事项：

• 时效限制：劳动仲裁申请需在知道权利被侵害之日起1年内提出。
• 双重关系区分：明确用工单位（实际工作地点）与劳务派遣单位（签订劳动合同方）的责任边界。
• 法律援助：经济困难者可申请工会或司法部门的免费律师服务。

总结：劳务派遣工在解除劳动合同时，应首先根据具体情况判断责任主体，然后结合相关法律法规和证据材料，通过协商、投诉、仲裁或诉讼等途径维护自身权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。