针对“部门退回人员怎么处理”这一问题，需结合具体退回原因、劳动合同约定、公司规章制度及相关法律法规进行综合判断，核心处理方向如下：

1. 退回原因合法性审查

   • 若退回系因员工严重违反公司规章制度（如旷工、盗窃、泄露商业秘密等），公司需举证证明制度已公示且员工行为符合解除条件，此时可依法解除劳动合同，但需支付经济补偿（若制度违法或程序瑕疵，可能面临违法解除赔偿金）。
     
   • 若退回系因客观情况重大变化（如部门撤销、业务调整），需与员工协商变更劳动合同内容（如调岗），协商不成可解除合同并支付经济补偿（N倍月工资）。
     
   • 若退回系因员工不胜任工作，公司需提供培训或调岗证据，仍不胜任的方可解除合同并支付经济补偿。
     

2. 程序合规性要求

   • 解除劳动合同需提前30日书面通知（或支付代通知金），并出具解除证明、办理档案和社会保险关系转移手续。
     
   • 工会或职工代表大会需参与程序（如涉及集体合同或30人以上解除）。
     

3. 特殊情形处理

   • 三期女职工：孕期、产期、哺乳期员工不得以经济性裁员或客观情况变化为由解除，退回可能违法。
     
   • 工伤员工：需按《工伤保险条例》支付一次性伤残就业补助金等费用后方可解除。
     
   • 劳务派遣员工：退回需符合《劳务派遣暂行规定》，如临时性岗位结束或派遣协议期满，否则可能承担连带赔偿责任。
     

建议行动步骤：

1. 核查退回依据是否写入劳动合同或规章制度；
   
2. 固定员工违规或不胜任的证据（如考勤记录、考核表、培训记录）；
   
3. 与员工协商解除方案，优先通过调岗、培训等方式留用；
   
4. 协商不成时，依法支付补偿并履行解除程序。
   

风险提示：未履行法定程序或证据不足的解除，可能被认定为违法解除，需支付2N倍赔偿金（N为工作年限）。如有具体案例或合同条款需进一步分析，可直接向我提问。