结论：工厂在不过年过节时随意安排调休且不愿意给双倍工资的行为，是否合法需分情况讨论。一般来说，若调休安排符合法律规定且工资支付合理，则合法；反之，则可能违法。

分析如下：

1. 关于调休的合法性：

   • 根据《劳动法》的相关规定，用人单位在保障劳动者身体健康的条件下，可以安排劳动者加班，但应当依法支付加班费或者安排补休。这意味着，调休作为一种补休方式，在符合法律规定的前提下是合法的。
   • 然而，调休的安排应当合理，不能随意侵犯劳动者的休息权。如果工厂在调休安排上过于频繁或者不合理，导致劳动者无法得到充分的休息，那么这种调休安排就可能违反法律规定。

2. 关于双倍工资的支付：

   • 在法定节假日（如春节、国庆节等）期间，如果工厂安排劳动者加班，根据《劳动法》的规定，应当支付不低于工资的百分之三百的工资报酬。这是法律对劳动者在法定节假日加班的特殊保护。
   • 如果工厂在不过年过节（即非法定节假日）时安排劳动者加班，但并未按照法律规定支付加班费或者安排补休，而是随意安排调休且不愿意给双倍工资，那么这种行为就可能违反法律规定。因为非法定节假日的加班，虽然不一定需要支付三倍工资，但至少应当支付不低于工资的百分之一百五十的工资报酬，或者安排补休。

3. 具体案例与法律建议：

   • 假设某工厂在非法定节假日期间安排劳动者加班，但并未支付加班费，而是仅仅安排了调休。如果这种调休安排合理，且劳动者在调休期间得到了充分的休息，那么工厂的行为可能并不违法。但如果调休安排不合理，或者劳动者在调休期间仍然需要承担工作负担，那么工厂的行为就可能构成违法。
   • 对于劳动者来说，如果遇到工厂随意安排调休且不愿意给双倍工资的情况，可以先与工厂进行协商，要求工厂按照法律规定支付加班费或者合理安排调休。如果协商无果，劳动者可以向当地的劳动监察部门投诉，或者通过法律途径维护自己的合法权益。

总结与进一步行动建议：

工厂在不过年过节时随意安排调休且不愿意给双倍工资的行为，其合法性取决于调休安排的合理性和工资支付的合规性。如果工厂的行为违反了法律规定，劳动者有权通过协商、投诉或者法律途径来维护自己的合法权益。如果你有具体的法律问题或者需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议。