核心结论：公司若想解除与劳务派遣人员的合同，需根据具体情况选择合法途径，并确保程序合规，以避免法律风险。以下是具体分析：

1. 与劳务派遣单位协商解除
   劳务派遣人员的劳动合同是与劳务派遣单位（如人力资源公司）签订的，而非直接与用工单位（即您的公司）签订。因此，用工单位不能直接解除与劳务派遣人员的劳动合同，但可以与劳务派遣单位协商，要求其根据《劳动合同法》相关规定解除合同。例如：

   • 若劳务派遣人员存在严重违反用工单位规章制度的行为（如旷工、盗窃等），用工单位可向劳务派遣单位提供证据，由劳务派遣单位依法解除合同；
     
   • 若因经营调整需要裁员，用工单位可与劳务派遣单位协商，由劳务派遣单位依据《劳动合同法》第40条（客观情况重大变化）或第41条（经济性裁员）解除合同。
     

2. 将劳务派遣人员退回劳务派遣单位
   根据《劳务派遣暂行规定》第12条，用工单位可在以下情形下将劳务派遣人员退回劳务派遣单位：

   • 劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，且双方未就变更合同达成一致；
     
   • 用工单位依照企业破产法规定进行重整，或生产经营发生严重困难；
     
   • 劳务派遣协议期满终止。
     退回后，劳务派遣单位需根据《劳动合同法》处理与派遣人员的劳动关系：
     
   • 若派遣单位继续留用，需重新安排工作；
     
   • 若派遣单位解除合同，需支付经济补偿（按工作年限，每满1年支付1个月工资）。
     

3. 避免违法解除的风险

   • 禁止直接解除：用工单位若绕过劳务派遣单位直接解除与派遣人员的劳动关系（如口头通知离职、强制退工等），可能被认定为违法解除，需支付赔偿金（经济补偿的2倍）；
     
   • 程序合规性：无论是协商解除还是退回，均需保留书面证据（如违纪通知、协商记录、退回函等），以证明解除行为的合法性；
     
   • 特殊保护情形：若派遣人员处于“三期”（孕期、产期、哺乳期）、医疗期等法定保护期，用工单位不得随意退回，否则可能面临法律责任。
     

建议：

• 优先通过劳务派遣单位处理解除事宜，避免直接介入劳动关系；
  
• 解除前核查派遣人员的劳动合同、派遣协议及用工记录，确保程序无瑕疵；
  
• 若涉及复杂情形（如群体性裁员、争议纠纷），可进一步向我咨询具体操作方案。