关于工厂是否可以加班到晚上11点的问题，这并不是一个简单的“可以”或“不可以”的答案，而是需要综合考虑多个法律因素和实际情况。
首先，从法律角度来看：
根据《中华人民共和国劳动法》的相关规定，国家实行劳动者每日工作时间不超过八小时、平均每周工作时间不超过四十四小时的工时制度。这是基础的工作时间限制。当用人单位因生产经营需要，确实需要延长工作时间时，必须经过与工会和劳动者的协商，并且有一定的限制：一般每日不得超过一小时；只有在特殊原因下，且在保障劳动者身体健康的条件下，延长工作时间每日才不得超过三小时，同时每月的总加班时长也不得超过三十六小时。此外，用人单位还应当保证劳动者每周至少休息一日。
接下来，我们分析实际操作与法律合规性：
在工厂等生产型企业中，由于生产任务的紧迫性或特殊性，加班到晚上11点的情况在某些情况下可能是存在的。但是，这种加班安排必须严格遵守上述法律规定的加班时长和程序要求。如果加班安排超出了这些限制，或者没有履行与工会和劳动者协商等法定程序，那么这种加班安排就是违法的。
长期频繁加班到11点的潜在影响：
长期频繁的加班到11点不仅可能严重影响劳动者的休息权和身体健康，还可能引发一系列的法律纠纷和风险。劳动者有权依法维护自身权益，要求用人单位调整工作安排或给予相应补偿。如果劳动者因超时加班向劳动监察部门投诉或申请劳动仲裁，企业可能面临责令改正、支付加班工资、罚款甚至更严重的法律责任。
建议与注意事项：
对于企业：在安排加班时，应严格遵守法律规定，确保加班时长和程序合法合规。同时，也要关注劳动者的身体健康和工作状态，避免过度加班对劳动者造成不良影响。
对于劳动者：在面临加班安排时，应了解自己的合法权益，并在必要时寻求专业法律人士的帮助。如果加班安排超出了法律规定的限制或侵犯了自己的权益，可以依法维护自身权益。
综上所述，工厂加班到晚上11点并非绝对不可行，但必须严格遵守法律规定的时间和程序要求，同时保障劳动者的休息时间和身体健康。任何违反法律规定的行为都可能引发法律纠纷和风险。因此，在安排加班时，企业和劳动者都应谨慎对待，确保合法合规。