单位要求退还公休补贴是否合法，需根据具体情况判断：

1. 若公休补贴属于工资组成部分且已合法发放：

   • 根据《劳动法》及相关规定，工资是劳动者因提供劳动而获得的报酬，包括基本工资、奖金、津贴、补贴等。若公休补贴是单位按照法律规定或内部规章制度，作为工资的一部分发放给劳动者的，且劳动者已合法享受该补贴，那么单位通常无权要求劳动者退还。
   • 在此情况下，单位要求退还公休补贴可能构成对劳动者合法权益的侵犯，劳动者有权拒绝，并可向劳动监察部门投诉或申请劳动仲裁以维护自身权益。

2. 若公休补贴发放存在错误或违规情况：

   • 若单位在发放公休补贴时存在计算错误、重复发放、违规发放（如未达到享受条件却发放）等情形，且该错误或违规情况是由单位自身原因造成的，那么单位在发现后有权要求劳动者退还多发的部分。
   • 但在此情况下，单位也应遵循合法、合理的程序，与劳动者进行充分沟通，并说明退还的原因和依据。若劳动者对退还要求有异议，双方可通过协商、调解或法律途径解决争议。

3. 若公休补贴属于特定条件下的奖励或补助，且条件已变更：

   • 有些单位可能会根据特定条件（如项目完成、业绩达标等）向劳动者发放公休补贴作为奖励或补助。若这些条件在补贴发放后发生变更，导致劳动者不再符合享受补贴的条件，单位可能会要求退还已发放的补贴。
   • 在此情况下，是否退还补贴需根据双方的具体约定和法律规定来判断。若双方有明确约定，则应按照约定执行；若无约定或约定不明确，则需根据法律规定和公平原则来处理。

针对您的情况，建议如下：

• 首先，仔细审查单位要求退还公休补贴的具体理由和依据，判断其是否合法、合理。
• 若认为单位的要求不合法或不合理，可与单位进行沟通协商，表达自己的观点和诉求。
• 若沟通协商无果，可向当地劳动监察部门投诉或申请劳动仲裁，以维护自身合法权益。

如有任何法律问题或需要进一步的法律建议，请随时向我咨询。