五一公司让加班，劳动者不去并不违法。不过，具体是否违法还需结合公司安排加班的具体情况以及劳动者的权益保障来综合分析。以下是从不同角度的详细解答：
一、公司安排加班的合法性
法定休假日加班规定：
- 根据《中华人民共和国劳动法》第四十四条，法定休假日（如五一劳动节）安排劳动者工作的，用人单位应当支付不低于工资的百分之三百的工资报酬。这是法律对劳动者在法定休假日工作权益的明确保障。
- 如果公司因生产经营需要，在五一劳动节安排劳动者工作，但依法支付了不低于工资的百分之三百的加班工资，那么这种安排是合法的。
协商加班与强迫加班的区别：
- 公司因生产经营需要，经与工会和劳动者协商一致后，可以安排劳动者在五一劳动节加班。这种情况下，只要公司依法支付了加班工资，就不构成违法。
- 如果公司未经与工会和劳动者协商，单方面强迫劳动者在五一劳动节加班，剥夺其休息休假的权利，那么这种行为是违法的。劳动者有权拒绝这种不合理的要求。
二、劳动者拒绝加班的权益
休息休假权：
- 劳动者享有休息休假的权利，这是法律赋予的基本权益。在五一劳动节这样的法定休假日，劳动者有权选择休息，公司不得强迫其加班。
拒绝加班的合法性：
- 如果公司安排的加班违反了法律法规的规定，或者未经与劳动者协商一致，劳动者有权拒绝加班。这种拒绝行为是合法的，不会受到法律的制裁。
三、公司违法加班的法律后果
支付加班工资：
- 如果公司未依法支付劳动者在五一劳动节加班的工资报酬，劳动者有权要求公司支付不低于工资的百分之三百的加班工资。
投诉与举报：
- 劳动者可以向当地劳动监察部门投诉或举报公司的违法加班行为。劳动监察部门将依法进行调查处理，并可能对公司进行行政处罚。
劳动仲裁与诉讼：
- 如果投诉举报未能解决问题，劳动者还可以申请劳动仲裁或提起诉讼，通过法律途径维护自己的合法权益。
四、建议与提醒
了解自身权益：
- 劳动者应了解自己在五一劳动节等法定休假日的休息休假权益，以及公司安排加班时应支付的加班工资标准。
与公司协商沟通：
- 如果公司安排加班，劳动者可以与公司进行协商沟通，表达自己的意愿和诉求。在协商一致的基础上，可以合理安排加班时间和加班工资支付等问题。
保留证据：
- 如果公司存在违法加班行为，劳动者应保留相关证据（如加班通知、工资条等），以便在需要时进行投诉举报或申请劳动仲裁。
总结来说，五一公司让加班，劳动者不去并不违法。但劳动者应了解自己的权益保障情况，并在必要时采取合法手段维护自己的权益。如果公司存在违法加班行为，劳动者有权拒绝并投诉举报或申请劳动仲裁。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。