劳务派遣人员解除劳动合同，用人单位（这里主要指劳务派遣单位）是否需要赔偿，主要取决于解除的具体原因和情况。以下是从不同角度进行的详细分析：
一、劳务派遣单位需要支付经济补偿的情形
协商一致解除且由派遣单位提出：
- 如果劳务派遣单位与劳动者协商一致解除劳动合同，并且是由劳务派遣单位提出解除动议的，那么根据《劳动合同法》的相关规定，劳务派遣单位应当向劳动者支付经济补偿。经济补偿的标准按照劳动者在本单位工作的年限来确定，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
无过失性辞退：
- 若劳动者因病、不能胜任工作或因客观情况变化导致合同无法履行且未达成变更协议，劳务派遣单位提前三十日通知或额外支付一个月工资后，可解除劳动合同，并需支付经济补偿。
经济性裁员：
- 当劳务派遣单位出现企业重整、生产经营困难等法定情形，需要裁减人员时，应提前三十日向工会或全体职工说明情况，听取意见后裁减，并向劳动者支付经济补偿。
用工单位过错导致解除：
- 如果用工单位存在过错行为，如无合理理由将大量劳务派遣人员退回劳务派遣单位，导致劳务派遣单位不得不解除与这些人员的劳动合同，那么劳务派遣单位在向劳动者支付经济补偿后，可能会依据劳务派遣协议向用工单位进行追偿。
违法解除劳动合同：
- 如果劳务派遣单位没有任何合法理由解除与劳务派遣人员的劳动关系，且未支付经济补偿，那么劳动者有权要求支付赔偿金，赔偿金标准通常是经济补偿标准的两倍。
二、劳务派遣单位无需支付经济补偿的情形
劳动者过错：
- 如果劳务派遣人员因自身原因（如严重违反规章制度、严重失职等）被解除劳动合同，那么劳务派遣单位通常无需支付经济补偿。
劳动者主动提出并协商一致：
- 如果劳动者主动向劳务派遣单位提出解除劳动合同，并且双方协商一致，那么劳务派遣单位也无需支付经济补偿。
符合约定条件退回：
- 在劳务派遣关系中，如果用工单位将派遣工退回到劳务派遣公司，且符合双方在《劳务派遣协议》中约定的退回条件，那么用工单位通常不需要支付任何补偿，劳务派遣单位也无需因退回行为而支付经济补偿。
三、其他注意事项
重新安排工作：
- 派遣工被退回后，派遣公司应当重新安排工作。在无工作期间，劳务派遣单位应当按照所在地人民政府规定的最低工资标准，按月向派遣工支付报酬。
协商解除：
- 如果用人单位与劳务派遣人员协商一致解除劳动合同，经济补偿的金额和方式可以由双方协商确定，但不得低于法定最低标准。
证据收集：
- 劳务派遣人员在争取合理赔偿时，应妥善收集并保存劳动合同、工资发放记录、工作证、辞退通知等相关证据，以便在协商不成时向劳动监察部门投诉或申请劳动仲裁维权。
总结与建议：
劳务派遣人员解除劳动合同时，劳务派遣单位是否需要支付经济补偿或赔偿金，主要取决于解除的原因和情形。因此，在处理此类问题时，建议劳务派遣单位和劳动者都充分了解相关法律法规，明确各自的权利和义务。如果遇到复杂情况或争议，可以直接向我咨询，我会根据具体情况提供详细的法律建议和帮助。