结论：工厂企业加班到十一点是否算违规加班，不能一概而论，需要结合具体的工作时长、加班频率以及是否支付加班费等因素来综合判断。
分析说明：
从工作时长和加班频率的角度：
- 根据《劳动法》的相关规定，劳动者每日工作时间不超过八小时，平均每周工作时间不超过四十四小时。如果工厂企业安排员工加班到十一点，且这种加班成为常态，导致员工的工作时间远远超出法定标准，那么这种加班行为很可能被视为违规。
- 另外，即使加班是偶尔的，但如果加班时间过长，比如从正常下班时间一直加班到十一点，且没有给予员工足够的休息时间，也可能违反劳动法的相关规定，因为这可能影响到员工的身心健康和工作效率。
从加班费支付的角度：
- 根据《劳动法》的规定，安排劳动者延长工作时间的，应支付不低于工资的百分之一百五十的工资报酬。如果工厂企业安排员工加班到十一点，但未按照法律规定支付加班费，那么这种加班行为同样构成违规。
- 加班费的支付是保障劳动者权益的重要一环，如果企业在这方面存在违规行为，劳动者有权向相关部门投诉或寻求法律援助。
从特殊行业或岗位的角度：
- 当然，也存在一些特殊行业或岗位，由于工作性质的特殊性，可能需要员工加班到较晚的时间。在这种情况下，如果企业能够证明加班的必要性，并且已经按照法律规定支付了加班费，同时保障了员工的休息权益，那么这种加班行为可能不被视为违规。
- 但即便如此，企业也应尽量减少不必要的加班，保障员工的身心健康和工作生活平衡。
建议与行动：
- 对于员工来说，如果发现自己经常被要求加班到较晚的时间，且加班费支付存在问题，或者加班已经严重影响到自己的身心健康和工作生活平衡，那么可以考虑与企业进行沟通协商，寻求合理的解决方案。
- 如果沟通无果，员工可以向当地的劳动监察部门投诉或寻求法律援助，以维护自己的合法权益。
- 对于企业来说，应严格遵守劳动法的相关规定，合理安排员工的工作时间和加班时间，确保员工的身心健康和工作生活平衡。同时，也应按照法律规定支付加班费，以维护员工的合法权益和企业的良好形象。
后续思考依据：
- 在判断工厂企业加班到十一点是否算违规加班时，除了考虑上述因素外，还可以参考当地的劳动法规和政策以及相关案例的判决结果。这些都可以为判断提供有力的依据和支持。
- 另外，随着劳动法律法规的不断完善和劳动者权益保护意识的不断提高，未来对于加班行为的监管和处罚力度可能会更加严格。因此，企业和员工都应密切关注相关法律法规的变化和动态，以便及时调整自己的行为和策略。