结论：单位不给加班工资时，劳动者在正常情况下有权拒绝加班。但在特定紧急或法定情形下，劳动者可能需要配合单位的加班安排。以下是对此问题的详细分析：
一、劳动者的基本权利与加班的法律规定
根据《中华人民共和国劳动法》的相关规定，劳动者享有休息休假的权利，这是其基本人权之一。加班并非劳动者的法定义务，而是需要用人单位与劳动者协商一致后进行的。具体来说：
《劳动法》第四十一条规定，用人单位由于生产经营需要，经与工会和劳动者协商后可以延长工作时间，一般每日不得超过一小时；因特殊原因需要延长工作时间的，在保障劳动者身体健康的条件下延长工作时间每日不得超过三小时，但是每月不得超过三十六小时。
《劳动合同法》第三十一条也明确规定，用人单位应当严格执行劳动定额标准，不得强迫或者变相强迫劳动者加班。用人单位安排加班的，应当按照国家有关规定向劳动者支付加班费。
这意味着，如果单位不给加班工资，劳动者有权拒绝加班，因为这违反了法律规定，侵犯了劳动者的合法权益。
二、加班的特殊情况与劳动者的义务
尽管劳动者有权拒绝加班，但在某些特殊情况下，这一权利可能受到一定限制。这些特殊情况主要包括：
自然灾害、事故等紧急情况：当发生自然灾害、事故或其他威胁劳动者生命健康和财产安全的情况，需要紧急处理时，劳动者可能需要根据单位的要求进行加班。
公共设施故障等抢修任务：生产设备、交通运输线路、公共设施发生故障，影响生产和公众利益，必须及时抢修的，劳动者也可能需要参与加班以尽快恢复正常运行。
法律、行政法规规定的其他情形：除上述两种情况外，若法律、行政法规另有规定要求劳动者加班的，劳动者也应遵守相关规定。
在这些特殊情况下，劳动者虽然可能需要加班，但单位仍需按照法律规定支付加班费或安排补休。
三、劳动者权益保护与拒绝加班的合理判断
劳动者在拒绝加班时，应充分了解自己的权利和义务，并根据实际情况做出合理判断。以下是一些建议：
了解法律规定：劳动者应熟悉《劳动法》和《劳动合同法》中关于加班和加班费的规定，以便在单位要求加班时能够做出正确的判断。
保留证据：如果单位强迫或变相强迫劳动者加班且不支付加班费，劳动者应保留相关证据（如考勤记录、加班通知、沟通邮件等），以便后续维权。
合法维权：如果单位违反法律规定强迫劳动者加班或拒不支付加班费，劳动者可以向当地劳动监察部门投诉或申请劳动仲裁，通过法律途径维护自己的合法权益。
四、实际案例与启示
在实际生活中，因单位不给加班工资而引发的劳动纠纷并不少见。例如，某公司长期要求员工无偿加班，员工在多次沟通无果后选择集体投诉。最终，公司被劳动监察部门责令支付加班费及补偿金。这个案例告诉我们，劳动者在面对单位的不合理要求时，应勇敢站出来维护自己的合法权益。
总结与建议：单位不给加班工资时，劳动者在正常情况下有权拒绝加班。但在特定紧急或法定情形下，劳动者可能需要配合单位的加班安排。无论何种情况，劳动者都应了解自己的权利和义务，保留相关证据，并在必要时通过法律途径维护自己的合法权益。如果你有任何具体的法律问题或需要进一步的帮助，请随时向我咨询。