厂里不想加班，员工通常是可以不去的。以下从不同角度为您详细分析：

一、法律角度

根据《中华人民共和国劳动法》第四十一条规定，用人单位由于生产经营需要，经与工会和劳动者协商后可以延长工作时间，一般每日不得超过一小时；因特殊原因需要延长工作时间的，在保障劳动者身体健康的条件下延长工作时间每日不得超过三小时，但是每月不得超过三十六小时。这意味着，加班需建立在劳动者自愿基础上，工厂不能强制员工加班。如果工厂的加班安排不符合上述规定，员工有权拒绝。

二、特殊情形

虽然员工通常有权拒绝加班，但也存在一些特殊情形。当发生自然灾害、事故或因其他原因，威胁劳动者生命健康和财产安全，需要紧急处理；或者生产设备、交通运输线路、公共设施发生故障，影响生产和公众利益，必须及时抢修等情况时，工厂安排加班，员工通常不能拒绝。不过，即便在这些特殊情形下，工厂也应依法支付加班工资，并保障员工的休息权。

三、拒绝加班的后果及维权途径

如果工厂以员工拒绝加班为由，进行扣工资、辞退等惩罚，员工可依法维护自身权益。员工可以向劳动监察部门投诉，劳动监察部门会对工厂的违法行为进行调查和处理；也可以申请劳动仲裁，劳动仲裁机构会根据事实和法律规定，做出公正裁决。

四、建议与注意事项

1. 以恰当方式沟通：在拒绝加班时，员工最好以恰当、合理的方式与工厂沟通说明自身情况与理由。比如，可以向工厂解释拒绝加班是基于对自身工作效率的考虑，若在正常工作时间内高效完成任务，可确保工作质量不受影响，同时也符合工厂追求效益最大化的目标。
2. 留存相关证据：如果员工因拒绝加班而与工厂产生纠纷，应留存加班的相关证据，如加班申请、考勤记录等，以保障自身合法权益。

总结来看，在符合法律规定及合理情形下，员工有拒绝加班的权利。如果遇到工厂强制加班或以拒绝加班为由进行惩罚的情况，员工应勇敢站出来，依法维护自己的合法权益。如果您还有其他关于劳动纠纷的问题，欢迎直接向我咨询。