单位若要追回往年已发放的加班工资，需分情况讨论其合法性及应对方式：
若单位主张“多发了加班工资”并要求返还
根据《民法典》第122条，单位需证明加班工资计算存在重大误解（如误将普通工作日计入加班、加班时长计算错误等），或员工通过欺诈、胁迫等手段获取不当利益。若单位无法举证，员工有权拒绝返还。
应对建议：要求单位提供加班记录、工资计算明细等证据，核对加班时长、工资基数（如是否包含奖金、补贴）是否符合法律规定。若单位证据不足，可明确拒绝返还。
若单位以“制度变更”为由追回
若单位此前已按约定发放加班工资，后续单方面修改制度（如降低加班费标准）并要求补缴差额，一般无效。根据《劳动合同法》第35条，变更劳动合同需双方协商一致并书面确认，单方变更不具法律效力。
应对建议：核查单位是否曾与员工协商变更加班工资计算方式，若未协商，可主张按原约定执行。
若单位以“审计发现错误”为由追回
若单位因自身财务或管理疏漏（如重复发放、系统错误）导致多付加班工资，员工可能需返还无合法依据的部分。但根据《工资支付暂行规定》第16条，单位需在2年内主张返还，且返还金额不得超过员工当月工资的20%（若扣除后低于当地最低工资标准，则按最低工资支付）。
应对建议：要求单位明确错误原因及具体金额，核对工资条与银行流水。若单位未在2年内主张，或返还后工资低于最低标准，可拒绝返还或要求调整。
若单位通过“扣减后续工资”强制追回
单位无权单方扣减员工工资抵销债务，除非符合《工资支付暂行规定》第16条的法定情形（如员工造成经济损失）。若单位擅自扣减，员工可依据《劳动合同法》第38条主张被迫解除劳动合同，并要求经济补偿。
应对建议：立即向单位提出书面异议，保留扣减工资的证据（如工资条、银行流水），必要时向劳动监察部门投诉或申请劳动仲裁。
总结：单位追回往年加班工资的合法性取决于具体原因和证据。员工应首先要求单位提供书面说明及证据，核对加班记录与工资计算是否合规。若单位行为违法，可拒绝返还并通过法律途径维权；若确属多付，可协商分期返还或要求单位承担部分责任。如有疑问，可直接向我咨询具体细节。