结论：单位在公休日给劳动者调休，在符合法律规定的情况下，确实不需要向劳动者支付双倍加班工资。但具体是否需要支付，还需结合工时制度、是否已安排补休以及双方是否有特殊约定等因素来综合判断。以下是对这一问题的详细分析：

一、一般情况下的法律规定

根据《中华人民共和国劳动法》第四十四条的规定，休息日安排劳动者工作又不能安排补休的，单位需要支付不低于工资的百分之二百的工资报酬，即双倍工资。这是保障劳动者休息权益和合理获得劳动报酬的重要法律规定。然而，如果单位已经为劳动者安排了补休，那么就不需要支付双倍工资。

示例：假设某员工月薪为6000元，按照21.75天计算日薪约为275.86元。若该员工在休息日（如周六）加班一天，且单位未安排补休，则单位应支付加班费551.72元（275.86元×2）。但如果单位已经安排了其他时间进行补休，则无需支付这笔加班费。

二、特殊工时制度下的情况

1. 不定时工作制：

   • 对于实行不定时工作制的员工，如高管、外勤人员等，由于他们的工作性质特殊，通常不存在双倍工资的问题。但需要注意的是，实行不定时工作制必须经过劳动行政部门的审批，并确保用人单位持有相应的审批文件。

2. 综合计算工时工作制：

   • 这种工时制度以周、月、季、年等为周期综合计算工作时间。在综合计算周期内，若某一具体日（或周）的实际工作时间超过标准工作时间，但总实际工作时间未超过法定标准，则不一定需要支付双倍工资。对于超过法定标准工作时间的部分，用人单位需按150%支付加班工资；法定休假日工作的，则需按300%支付加班工资。休息日工作是否支付双倍工资，需结合整个计算周期的工时来判断。

三、特殊约定的情况

虽然法律有明确规定，但在实际操作中，如果用人单位与劳动者之间有明确的特殊约定，并且这些约定不违反法律法规的强制性规定，也可能影响双倍工资的支付。例如，双方可能约定了不同的加班工资支付标准，或者在特定情况下同意在休息日加班并已支付正常工资等。

四、实务要点与建议

1. 证据留存：

   • 劳动者应妥善保存考勤记录、加班通知等证据，以便在需要时证明自己的加班事实。

2. 维权途径：

   • 如果单位未按照法律规定支付加班费，劳动者可以先与单位进行协商。协商无果的，可以向当地劳动监察部门投诉或申请劳动仲裁。

3. 时效限制：

   • 劳动者应注意劳动争议仲裁的时效限制，通常需在知道权利被侵害之日起一年内提出仲裁申请。

总结：单位在公休日给劳动者调休时，是否需要支付双倍加班工资取决于多种因素的综合考量。在一般情况下，如果单位已经安排了补休，则无需支付双倍工资。但在特殊工时制度或双方有特殊约定的情况下，可能需要结合具体情况来判断。劳动者应了解自己的权益和维权途径，并在必要时寻求法律帮助。如果你有进一步的法律问题或需要更具体的建议，可以直接向我咨询。