解除劳务派遣人员时，用人单位或用工单位通常需要通知本人，但具体通知义务和程序需根据解除原因及法律规定来确定。以下是详细分析：

1. 合法解除情形下的通知义务
   根据《劳动合同法》及《劳务派遣暂行规定》，若解除劳务派遣人员符合法定情形（如严重违纪、不能胜任工作经培训或调岗后仍不能胜任、客观情况重大变化等），用工单位需将解除理由通知劳务派遣单位，再由劳务派遣单位依法通知劳动者本人。

   • 若用工单位直接退回劳务派遣人员（非解除劳动关系），需向劳务派遣单位说明退回理由，但无需直接通知劳动者；但若退回后劳务派遣单位决定解除合同，则必须通知劳动者。
     
   • 若劳务派遣单位直接解除劳动合同（如劳动者严重违纪），需提前将解除理由通知工会（如有），并直接通知劳动者本人，同时出具解除证明。

2. 违法解除情形下的法律后果
   若用工单位或劳务派遣单位未履行法定通知义务（如未说明理由、未提前通知等），可能构成违法解除，劳动者有权要求继续履行合同或主张赔偿金（按经济补偿标准的2倍支付）。

   • 例如：用工单位以“经营困难”为由退回劳动者，但未向劳务派遣单位提供证据，导致劳务派遣单位违法解除合同的，用工单位与劳务派遣单位可能需承担连带赔偿责任。

3. 特殊情形下的通知要求

   • 经济性裁员：劳务派遣单位因经营困难需裁员时，需提前30日向工会或全体职工说明情况，听取意见后向劳动行政部门报告，并依法通知劳动者。
     
   • 劳动者过错解除：如劳动者严重违反规章制度，劳务派遣单位可立即解除合同，但仍需通知劳动者并告知理由（可书面或口头，但建议留存证据）。
     
   • 医疗期满解除：劳动者医疗期满后不能从事原工作或新安排的工作，劳务派遣单位需提前30日书面通知或额外支付1个月工资后解除合同。

建议：

• 用工单位退回劳动者时，务必向劳务派遣单位提供书面退回理由及证据；
  
• 劳务派遣单位解除合同时，需严格履行通知义务（如书面通知、留存送达凭证），避免因程序瑕疵承担违法解除责任；
  
• 若涉及复杂情形（如集体退回、争议解除），建议提前梳理证据并咨询专业律师。
  

如有进一步疑问，可直接向我提问，我会结合具体场景为您详细分析。