结论：如果工厂拒绝工人回来上班，可能会面临一系列法律后果，具体取决于工人与工厂之间的劳动关系状态以及拒绝的理由是否合法。以下是从不同角度进行的详细分析：
一、劳动关系状态的影响
如果工人与工厂的劳动关系仍然存在：
- 法律后果：根据《中华人民共和国劳动合同法》的相关规定，工厂无正当理由拒绝工人回来上班，可能构成违法解除劳动合同或未按照劳动合同约定提供劳动条件，工人有权要求工厂继续履行劳动合同，或者要求工厂支付赔偿金。
- 建议：工厂应首先确认与工人的劳动关系状态，如果劳动关系仍然存在，且没有合法理由拒绝工人回来上班，那么工厂应接受工人回来工作，或者与工人协商解除劳动合同并支付相应的经济补偿。
如果工人与工厂的劳动关系已经解除或终止：
- 法律后果：如果工厂已经与工人合法解除了或终止了劳动合同，那么工厂没有义务再接受工人回来上班。但是，如果工厂在解除或终止劳动合同时存在违法行为（如未提前通知、未支付经济补偿等），工人仍有权要求工厂承担相应的法律责任。
- 建议：工厂应确保与工人解除或终止劳动合同的程序合法，并支付应支付的经济补偿，以避免潜在的法律纠纷。
二、拒绝理由的合法性
合法理由：
- 法律后果：如果工厂有合法理由拒绝工人回来上班（如工人严重违反工厂规章制度、被依法追究刑事责任等），那么工厂的行为是合法的，不需要承担法律责任。
- 建议：工厂在拒绝工人回来上班时，应确保有充分的合法理由，并保留好相关证据，以备不时之需。
非法理由：
- 法律后果：如果工厂没有合法理由拒绝工人回来上班，那么工厂的行为可能构成违法，需要承担相应的法律责任，包括支付赔偿金、继续履行劳动合同等。
- 建议：工厂应避免以非法理由拒绝工人回来上班，以免引发不必要的法律纠纷和损失。
三、实际操作建议
沟通协商：
- 在决定是否接受工人回来上班之前，工厂应与工人进行充分的沟通协商，了解工人的具体情况和意愿，尽量达成双方都能接受的解决方案。
审查劳动合同和规章制度：
- 工厂应审查与工人签订的劳动合同以及工厂的规章制度，确保自己的行为符合合同约定和法律规定。
寻求法律帮助：
- 如果工厂对是否接受工人回来上班存在疑问或担忧，可以寻求专业律师的法律帮助，以确保自己的行为合法合规。
总结与进一步思考：工厂在决定是否接受工人回来上班时，应综合考虑劳动关系状态、拒绝理由的合法性以及实际操作中的建议。如果工厂对法律问题存在疑问或担忧，可以直接向我咨询，我将根据具体情况提供专业的法律意见和帮助。