工厂要求员工晚上11点回厂是否合法，需分情况讨论：

1. 若工厂要求员工晚上11点回厂是出于工作需要，且符合相关法律规定：

   • 根据《劳动法》的相关规定，用人单位因生产经营需要，经与工会和劳动者协商后可以延长工作时间，一般每日不得超过一小时；因特殊原因需要延长工作时间的，在保障劳动者身体健康的条件下延长工作时间每日不得超过三小时，但是每月不得超过三十六小时。
   • 如果工厂要求员工晚上11点回厂，是出于紧急生产任务、设备故障等特殊原因，且已经与员工进行了协商，同时保证了员工的休息时间和健康，那么这种要求在法律上可能是被允许的。但工厂需要支付相应的加班费，具体标准根据《劳动法》第四十四条的规定执行，即安排劳动者延长工作时间的，支付不低于工资的百分之一百五十的工资报酬。

2. 若工厂要求员工晚上11点回厂并非出于工作需要，或未遵守相关法律规定：

   • 如果工厂无正当理由要求员工晚上11点回厂，或者虽然出于工作需要但未与员工协商、未保证员工休息时间和健康，那么这种要求可能违反了《劳动法》的相关规定。
   • 员工有权拒绝这种不合理的要求，并可以向劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。

法律建议：

• 对于员工而言，如果工厂提出晚上11点回厂的要求，首先应当了解工厂提出这一要求的具体原因和依据。
• 如果认为这一要求不合理或违反了法律规定，可以与工厂进行沟通协商，要求工厂提供合理的解释和补偿。
• 如果沟通无果，员工可以向当地的劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。

可能的法律后果：

• 如果工厂违反了《劳动法》的相关规定，可能会面临劳动监察部门的处罚，包括罚款、责令改正等。
• 同时，员工也有权要求工厂支付因违反规定而产生的加班费、经济补偿等费用。

综上所述，工厂要求员工晚上11点回厂是否合法，取决于具体的原因和是否符合相关法律规定。员工在面对这种情况时，应当了解自己的权益和法律规定，并采取相应的措施来维护自己的合法权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。