结论：加班不去的后果取决于加班的性质、是否经过协商一致以及是否存在特殊情况。在合法且协商一致的加班情况下，不去可能面临工厂的纪律处分或影响绩效；但在违法或未协商一致的情况下，员工有权拒绝，且不应承担不利后果。
一、合法且协商一致的加班情况
工厂规章制度与劳动合同：
- 如果工厂的规章制度或劳动合同中明确规定了加班的相关条款，并且这些条款不违反法律法规，员工在签署劳动合同时即视为同意这些条款。在这种情况下，如果员工未经允许擅自不加班，工厂可能会根据规章制度对员工进行纪律处分，如警告、扣工资等。
协商一致的加班：
- 根据《中华人民共和国劳动法》的相关规定，用人单位因生产经营需要，经与工会和劳动者协商后，可以延长工作时间。这意味着，加班应当基于双方的协商一致。如果员工已经同意加班，但后续又反悔不去，工厂可能会根据具体情况对员工进行相应处理，如调整工作任务分配、影响绩效等。但工厂不能以扣工资、辞退等手段强迫员工加班，这种行为是违法的。
二、违法或未协商一致的加班情况
违法加班：
- 如果工厂安排的加班时长超过了法律规定的每月36小时上限，或者每天加班超过3小时（特殊情况除外），这种加班就是违法的。员工有权拒绝超出部分的加班安排，工厂不能因此对员工进行处罚。若因拒绝违法加班而被辞退，属于违法解除劳动合同，员工可以要求工厂支付赔偿金，标准为经济补偿标准的二倍。
未协商一致的加班：
- 如果工厂提出的加班要求未与员工达成一致意见，员工有权拒绝加班。工厂不能因此对员工进行处罚或解除劳动合同。在这种情况下，员工应保留好相关证据，如加班通知、沟通记录等，以便在需要时证明自己的主张。
三、特殊情况下的加班要求
紧急处理与及时抢修：
- 在某些特殊情况下，如发生自然灾害、事故或其他威胁人民生命健康和财产安全的情况，需要紧急处理；或者生产设备、交通运输线路、公共设施发生故障，影响生产和公众利益，必须及时抢修。在这些情况下，员工有义务配合工厂的加班安排。如果员工拒绝加班，工厂可以根据规章制度进行处理，甚至可能解除劳动合同，并且在符合法定情形下可能无需支付经济补偿。
其他法定情形：
- 除了上述紧急处理和及时抢修的情况外，法律、行政法规还规定了其他需要员工配合加班的情形。在这些情况下，员工也应遵守法律法规和工厂的规章制度，配合加班安排。
四、建议与总结
了解加班的合法性：
- 员工在面临加班要求时，应首先了解加班的合法性及自身的权益。如果认为加班要求不合法或未协商一致，应勇敢说“不”，并通过法律途径维护自己的权益。
保留好相关证据：
- 在维权过程中，劳动者应保留好相关证据，如劳动合同、工资条、加班通知、沟通记录等，以便证明自己的主张。
积极沟通与协商：
- 建议员工与工厂保持积极沟通，寻求双方都能接受的解决方案。如果工厂提出的加班要求确实合理且必要，员工可以考虑在保障自身健康和安全的前提下配合加班安排。
综上所述，加班不去的后果取决于多种因素。员工在面对加班要求时，应根据具体情况判断并采取相应措施，既要遵守法律法规和工厂的规章制度，也要维护自身的合法权益。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。