工厂通常不能直接辞退派遣工人，但可以通过与劳务派遣单位协商退工或依法退回不符合要求的派遣工。以下从不同角度为您详细分析：

一、工厂退回派遣工的合法情形

根据《中华人民共和国劳动合同法》第六十五条及《劳务派遣暂行规定》的相关规定，工厂在以下情形下可以将派遣工退回劳务派遣单位：

1. 派遣工存在过失：

   • 若派遣工在试用期间被证明不符合录用条件；
   • 严重违反工厂的规章制度；
   • 严重失职，营私舞弊，给工厂造成重大损害；
   • 同时与其他用人单位建立劳动关系，对完成本工厂的工作任务造成严重影响，或者经工厂提出，拒不改正；
   • 因欺诈、胁迫的手段或者乘人之危，使工厂在违背真实意思的情况下订立或者变更劳动合同，致使劳动合同无效；
   • 被依法追究刑事责任。

2. 非过失性情形：

   • 派遣工患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由工厂另行安排的工作；
   • 派遣工不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作。

3. 客观情况变化：

   • 劳动合同订立时所依据的客观情况发生重大变化，致使劳务派遣协议无法履行，且经工厂与劳务派遣单位协商未能就变更劳务派遣协议内容达成协议。

4. 经济性裁员：

   • 工厂因经济性原因需要裁减人员，如企业破产重整、生产经营发生严重困难等，可以将派遣工退回劳务派遣单位。

5. 派遣协议期满：

   • 劳务派遣协议期满终止时，工厂也可以将派遣工退回劳务派遣单位。

二、劳务派遣单位辞退派遣工的情形

劳务派遣单位在接收到工厂退回的派遣工后，若派遣工存在《中华人民共和国劳动合同法》第三十九条、第四十条规定的情形，劳务派遣单位可以依法与派遣工解除劳动合同。这些情形包括但不限于：

• 派遣工存在上述过失性情形；
• 派遣工患病或非因工负伤，医疗期满后不能从事原工作也不能从事另行安排的工作；
• 派遣工不能胜任工作，经过培训或调岗后仍不能胜任。

三、工厂退回派遣工的注意事项

1. 遵守法律程序：工厂在退回派遣工时，必须严格遵守法律法规，确保程序合法合规。例如，对于非过失性情形下的退回，工厂应提前三十日以书面形式通知派遣工本人或者额外支付一个月工资。

2. 保障派遣工权益：工厂应尊重派遣工的合法权益，避免因不当操作引发劳动纠纷。例如，在退回派遣工前，应确保派遣工已享受应有的医疗期、培训机会等。

3. 加强沟通协作：工厂与劳务派遣单位应保持良好沟通，共同妥善处理派遣工的退回问题。例如，双方可以就退回原因、后续安排等事项进行协商，确保派遣工的权益得到妥善保障。

四、法律后果

若工厂违反法律法规规定直接辞退派遣工，可能面临以下法律后果：

• 支付赔偿金：根据《中华人民共和国劳动合同法》的相关规定，工厂可能需要向派遣工支付赔偿金，赔偿金的数额根据派遣工在工厂的工作年限和工资水平确定。

• 恢复劳动关系：若派遣工要求继续履行劳动合同，且法院或仲裁机构认定工厂违法辞退，工厂可能需要恢复与派遣工的劳动关系，并补发违法辞退期间的工资。

总结来说，工厂在处理派遣工问题时，应严格遵守法律法规规定，通过合法途径退回不符合要求的派遣工，并确保派遣工的权益得到妥善保障。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。