结论：公司在过年初四、初五值班时不给双倍工资也不给调休时间的做法是不合法的，您有权要求公司支付相应的加班工资或安排调休。
法律背景与解释：
加班工资支付规定：
- 根据《中华人民共和国劳动法》第四十四条的规定，法定休假日安排劳动者工作的，支付不低于工资的百分之三百的工资报酬。过年期间，初四、初五虽然可能不属于传统意义上的“春节法定假日”（通常指初一至初三），但如果这些日子被公司或地方政策明确为法定假日，或者您与公司签订的劳动合同、公司规章制度中有明确规定这些日子为法定假日并需支付加班工资，那么公司应当支付您不低于工资百分之三百的加班工资。
- 若初四、初五并不属于法定假日，但属于休息日（如周末），且您在这两天被安排工作，根据《劳动法》的规定，公司应当首先安排您补休；不能安排补休的，支付不低于工资的百分之二百的工资报酬。
调休安排：
- 如果公司选择不支付加班工资，而是安排调休，那么调休应当是在您方便的时间进行，且不得影响您的正常工作和休息。公司不能单方面决定不调休，也不支付加班工资。
法律建议：
与公司协商：
- 首先，您可以尝试与公司进行协商，明确表达您的诉求，即要求公司支付加班工资或安排调休。在协商过程中，您可以引用上述法律条款，增强自己的说服力。
收集证据：
- 如果协商无果，您需要开始收集相关证据，如值班记录、工资条、劳动合同等，以证明您在过年初四、初五被安排值班，且公司未支付加班工资或未安排调休。
向劳动监察部门投诉：
- 您可以向当地的劳动监察部门投诉公司的违法行为。劳动监察部门有权对公司进行调查，并要求公司改正违法行为，支付加班工资或安排调休。
申请劳动仲裁：
- 如果投诉无果，您还可以向劳动仲裁委员会申请劳动仲裁。劳动仲裁委员会将依法审理您的案件，并作出裁决。如果公司不履行裁决，您还可以向法院申请强制执行。
可能的法律后果：
- 如果公司被认定存在违法行为，除了需要支付您加班工资或安排调休外，还可能面临劳动监察部门的处罚，如罚款等。
- 如果公司拒不履行劳动仲裁裁决或法院判决，还可能被列入失信被执行人名单，影响公司的信誉和正常运营。
进一步思考：
- 在处理此类纠纷时，保持冷静和理性至关重要。通过合法途径维护自己的权益，不仅是对自己负责，也是对法律尊严的维护。
- 如果您对法律程序不熟悉或担心自己的权益得不到充分保障，可以随时向我咨询，我将根据您的具体情况提供专业的法律建议和帮助。