劳务派遣人员的残保金原则上应由派遣单位承担，但具体还需根据劳务派遣协议中的约定以及实际工资发放情况来确定。以下从多个角度为您详细分析：
一、法律原则与规定
法定责任：根据《中华人民共和国劳动合同法》第五十八条，劳务派遣单位作为用人单位，应当履行对劳动者的义务，这自然包括为劳动者缴纳残保金等社会保险费用。因此，从法律层面讲，残保金的缴纳责任应归属于劳务派遣单位。
在职人员计算：在劳务派遣中，被派遣劳动者虽在用工单位工作，但其劳动关系仍在劳务派遣单位，因此应计入劳务派遣单位的在职职工总数，用于计算残保金的缴纳比例。这意味着，劳务派遣单位有责任按照相关规定履行安排残疾人就业的义务，若未达到规定比例，则需缴纳残保金。
二、具体缴纳情况的判定
派遣单位缴纳的情况：
- 法律依据：若劳务派遣协议明确约定劳务派遣人员的工资、社会保险等由派遣单位负责发放和缴纳，且实际操作中也是如此执行，那么派遣单位作为实际用人单位，应承担残保金的缴纳义务。
- 实例说明：例如，派遣公司与工厂签订协议，约定劳务派遣人员工资由派遣公司发放，社保也由派遣公司缴纳，则这些人员的残保金应由派遣公司缴纳。
用工单位缴纳的情况：
- 法律依据：若劳务派遣协议约定残疾人员的工资、奖金、福利等由用工单位直接支付给残疾人员，并且在实际操作中也是如此执行的，那么用工单位应将这部分残疾人员计入本单位的实际安排残疾人就业人数和在职职工人数，相应的残保金也应由用工单位缴纳。
- 实例说明：例如，企业与劳务派遣公司签订协议，接收劳务派遣人员（含残疾人员），且协议中约定残疾人员工资由企业直接发放，则在计算和缴纳残保金时，这些残疾人员应计入该企业的相关人数中，残保金由该企业缴纳。
三、残保金的计算与缴纳
- 残保金的年缴纳额是根据上年用人单位安排残疾人就业未达到规定比例的差额人数和本单位在职职工年平均工资来计算的。具体公式为：残保金年缴纳额=（上年用人单位在职职工人数×规定比例－上年用人单位实际安排的残疾人就业人数）×上年用人单位在职职工年平均工资。
- 在劳务派遣关系中，劳务派遣人员应计入与其存在劳动关系的单位（即派遣单位或用工单位，视具体情况而定）的在职职工人数中，据此计算残保金。
四、特殊情况与约定的处理
- 虽然劳务派遣单位和用工单位可以通过协商确定某些费用的承担方，但这种约定不能违反法律法规关于残保金缴纳的规定。
- 无论协议如何约定，都必须确保劳务派遣人员的权益不受侵犯，且劳务派遣人员和派遣的残疾人不得在用工单位和派遣单位重复计算。
- 内部约定不能改变对外法律责任主体：即使劳务派遣单位与用工单位在协议中约定了残保金的承担方，但这种约定只是双方之间的内部安排，不能改变派遣单位在法律上对残保金承担的主体责任。一旦出现问题，如未按时足额缴纳残保金等情况，监管部门仍将首先追究派遣单位的责任。
五、建议与注意事项
- 明确协议条款：劳务派遣单位与用工单位在签订劳务派遣协议时，应明确约定残保金的承担方，以避免后续纠纷。
- 关注政策变化：残保金的缴纳比例和计算方式可能会因地区和政策的变化而调整，因此劳务派遣单位和用工单位应密切关注相关政策动态，确保合规缴纳。
- 保障残疾人权益：在安排残疾人就业和缴纳残保金时，应充分保障残疾人的合法权益，避免歧视和不当对待。
综上所述，劳务派遣人员的残保金缴纳责任需根据劳务派遣协议的具体约定及实际工资发放情况来确定。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。