派遣工并不是随时可以被工厂辞退的。劳务派遣中的用工关系涉及三方主体：劳务派遣单位、用工单位（即工厂）和被派遣劳动者（派遣工）。辞退派遣工的问题，需要从多个角度进行分析：
一、用工单位（工厂）的辞退权限制
法定辞退情形：
- 根据《劳动合同法》的相关规定，用工单位只有在符合法定情形时，才能将派遣工退回劳务派遣单位。这些情形通常包括：
- 派遣工在试用期内被证明不符合录用条件的；
- 派遣工严重违反用工单位的规章制度的；
- 派遣工严重失职、营私舞弊，给用工单位造成重大损害的；
- 派遣工同时与其他用人单位建立劳动关系，对完成用工单位的工作任务造成严重影响，或者经用工单位提出，拒不改正的；
- 派遣工以欺诈、胁迫的手段或者乘人之危，使劳务派遣单位在违背真实意思的情况下订立或者变更劳动合同，致使劳动合同无效的；
- 派遣工被依法追究刑事责任的；
- 派遣工患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作的；
- 派遣工不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的。
非法定辞退情形的限制：
- 如果用工单位没有法定理由，或者辞退程序不合法，那么其辞退行为可能构成违法辞退。在这种情况下，派遣工有权要求用工单位继续履行劳动合同，或者要求支付赔偿金。
二、劳务派遣单位的责任
重新派遣或解除合同：
- 当用工单位将派遣工退回劳务派遣单位时，劳务派遣单位需要根据具体情况进行处理。如果派遣工符合法定辞退情形，劳务派遣单位可以与其解除劳动合同；如果不符合，劳务派遣单位则需要为派遣工重新安排工作，或者与其协商解除劳动合同。
经济补偿与赔偿：
- 如果劳务派遣单位与派遣工解除劳动合同，且符合支付经济补偿的情形（如协商一致解除、经济性裁员等），则劳务派遣单位需要支付经济补偿。如果劳务派遣单位违法解除劳动合同，派遣工则有权要求支付赔偿金。
三、派遣工的权益保护
了解自身权益：
- 派遣工应当了解自己的合法权益，包括劳动合同的签订、履行、变更、解除和终止等方面的规定。在遭遇不公正待遇时，派遣工应当及时寻求法律援助或向相关部门投诉。
保留证据：
- 派遣工在用工过程中应当保留好相关证据，如劳动合同、工资单、工作记录等。这些证据在维权过程中将起到重要作用。
寻求法律援助：
- 如果派遣工认为自己的权益受到侵害，可以向当地劳动监察部门投诉或申请劳动仲裁。在必要时，也可以寻求专业律师的帮助来维护自己的合法权益。
总结与建议：派遣工并不是随时可以被工厂辞退的。用工单位在辞退派遣工时必须遵守法定程序和条件，否则可能构成违法辞退。派遣工应当了解自己的合法权益，并在遭遇不公正待遇时及时寻求法律援助。如果你作为派遣工遇到了类似问题，或者有任何关于劳动工伤（劳务派遣）方面的疑问，都可以直接向我咨询。