结论：五月四日加班不给钱给调休是否违法，需根据具体情况判断。若五月四日为法定节假日，则用人单位必须支付加班费，不能仅安排调休；若五月四日为休息日且用人单位能安排补休，则可以不支付加班费。
详细分析：
法定节假日加班：
- 根据《中华人民共和国劳动法》第四十四条的规定，法定节假日安排劳动者工作的，支付不低于工资的百分之三百的工资报酬。这意味着，如果五月四日是法定节假日（如劳动节当天），用人单位必须支付加班费，而不能仅通过调休来替代。
休息日加班：
- 同样根据《中华人民共和国劳动法》第四十四条，休息日安排劳动者工作又不能安排补休的，支付不低于工资的百分之二百的工资报酬。这里的关键是“又不能安排补休”，如果用人单位能够安排补休（即调休），则可以不支付加班费。
- 因此，如果五月四日是休息日，且用人单位能够安排调休，那么不给加班费而给调休是不违法的。但如果用人单位不能安排调休，则必须支付加班费。
建议与注意事项：
- 核实五月四日的性质：首先，需要确认五月四日是法定节假日还是休息日。这通常取决于国家的法定节假日安排和用人单位的工作制度。
- 与用人单位沟通：如果用人单位仅安排调休而不支付加班费，劳动者可以与用人单位沟通，了解调休的具体安排和加班费支付情况。
- 保留证据：如果劳动者认为自己的权益受到侵害，应保留好相关证据，如加班记录、工资单等，以便在需要时维护自己的权益。
- 寻求法律援助：如果沟通无果，劳动者可以向当地的劳动监察部门投诉或寻求法律援助，以维护自己的合法权益。
可能后果：
- 如果用人单位在法定节假日安排加班而不支付加班费，劳动者有权要求用人单位支付加班费，并可能因此获得额外的赔偿。
- 如果用人单位在休息日安排加班且不能安排补休而不支付加班费，同样会面临支付加班费和可能赔偿的法律责任。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。