工厂在正常情况下是有权利不安排加班的，但这一权利的行使需遵循法律规定，且不能侵犯劳动者的合法权益。以下是对这一问题的详细分析：
加班的协商性：
- 根据《中华人民共和国劳动法》的相关规定，用人单位因生产经营需要延长工作时间的，必须与工会和劳动者进行协商，并征得劳动者的同意。这意味着，工厂不能单方面决定加班，而应与员工进行充分沟通并达成一致。如果工厂未与员工协商或员工不同意加班，工厂则无权强制要求加班。
加班时间的限制：
- 法律对加班时间有严格规定。一般情况下，每日加班不得超过1小时；在特殊原因下，且需保障劳动者身体健康的条件下，每日加班时间可延长至3小时，但每月累计加班时间不得超过36小时。这些限制旨在保护劳动者的休息权和身体健康。如果工厂要求的加班时间超过了法律规定的限制，员工有权拒绝，工厂也无权强制要求。
劳动者的拒绝权：
- 如果工厂要求的加班时间超过了法律规定的限制，或者劳动者因个人原因不愿意加班，劳动者有权明确拒绝加班要求。这是劳动者的合法权益，工厂不得因此而对劳动者进行不利处理，如扣工资、降职或辞退等。
特殊情况下的加班：
- 在某些特殊紧急情况下，如发生自然灾害、事故等威胁人民生命健康和财产安全的事件，或生产设备、交通运输线路、公共设施发生故障需要紧急抢修时，劳动者可能需要根据实际情况服从加班安排。但这些情况下的加班也应遵循法律关于加班时间和加班费支付的规定。即使在这些特殊情况下，工厂也不能单方面强制要求加班，而应与员工进行协商，并确保员工的身心健康不受损害。
工厂不安排加班的合法性：
- 工厂在不违反法律规定和劳动合同约定的情况下，有权根据自身的生产经营需要决定是否安排加班。如果工厂认为不需要加班或无法承担加班成本，可以选择不安排加班。这一决定应基于合理的商业判断，并不得侵犯劳动者的合法权益。
建议与行动：
- 作为劳动者，如果工厂要求加班但您认为不符合法律规定或个人原因不愿意加班，您有权拒绝并明确表达自己的立场。
- 如果工厂因此对您进行不利处理，您可以通过与公司协商、申请劳动仲裁、向劳动监察部门投诉等合法途径来维护自身权益。
- 作为工厂管理者，应合理安排工作时间和加班，确保员工的身心健康和生产效率。同时，应遵守相关法律法规，尊重劳动者的权益，避免引发劳动纠纷。
综上所述，工厂在正常情况下是有权利不安排加班的，但这一权利的行使需遵循法律规定，并尊重劳动者的合法权益。如果您在劳动纠纷方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。