工厂非法退回工人，工人可以采取以下措施来维护自己的合法权益：
明确非法退回的性质：
- 首先，需要明确工厂“非法退回”工人的具体情形。这可能包括但不限于：未按照法定程序解除劳动合同、未支付应得的经济补偿、以非法理由（如歧视、报复等）退回工人等。
- 工人应仔细审查自己的劳动合同、工厂规章制度以及相关法律法规，以确定工厂的行为是否构成非法退回。
与工厂协商：
- 在确认工厂行为非法后，工人可以尝试与工厂进行协商，要求工厂纠正错误行为，如恢复劳动关系、支付经济补偿等。
- 协商过程中，工人应保持冷静、理性，并准备好相关证据以支持自己的主张。
向劳动监察部门投诉：
- 如果协商无果，工人可以向当地的劳动监察部门投诉工厂的非法行为。
- 劳动监察部门有权对工厂进行调查，并根据调查结果对工厂进行处罚，同时要求工厂纠正错误行为。
申请劳动仲裁：
- 工人还可以向劳动争议仲裁委员会申请劳动仲裁，要求工厂承担非法退回的法律责任。
- 在申请劳动仲裁时，工人需要提交相关证据，如劳动合同、工资单、工厂规章制度、退回通知等，以证明工厂的行为非法。
- 劳动仲裁委员会将根据双方提供的证据和法律法规进行裁决，工人应遵守裁决结果。如果工厂不履行裁决，工人可以向人民法院申请强制执行。
寻求法律援助或提起诉讼：
- 如果工人对劳动仲裁结果不满意，或者工厂拒绝履行仲裁裁决，工人可以寻求法律援助或向人民法院提起诉讼。
- 在提起诉讼前，工人应咨询专业律师，了解自己的权利和义务，以及诉讼的可能结果和风险。
- 诉讼过程中，工人需要提交充分的证据来支持自己的主张，并遵守法庭程序和规则。
法律背景与建议：
- 根据《中华人民共和国劳动法》和《中华人民共和国劳动合同法》的相关规定，工厂在解除或终止劳动合同时，必须遵循法定程序和条件，否则将构成非法解除或终止劳动合同，需要承担相应的法律责任。
- 工人在面对工厂的非法行为时，应保持冷静、理性，并积极采取措施维护自己的合法权益。同时，工人也应了解自己的权利和义务，遵守法律法规和工厂规章制度，以避免不必要的法律纠纷。
可能的法律后果：
- 如果工厂被认定存在非法退回工人的行为，可能需要承担支付经济补偿、恢复劳动关系、赔偿损失等法律责任。
- 工人如果采取非法手段（如暴力、威胁等）来维护自己的权益，也可能面临法律责任。因此，工人在维护自己权益的过程中，必须遵守法律法规和道德规范。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。