单位违规发放的绩效是否需要退回，并不一定，需根据具体情况来判断。以下是从不同角度进行的分析：

一、法律法规依据

1. 不当得利原则：根据《中华人民共和国民法典》的相关规定，如果员工因单位违规发放而获得不当利益，且没有法律根据，那么受损失的单位有权请求员工返还取得的利益。但这里也存在例外，比如员工明知无给付义务而进行的债务清偿，则无需退还。

2. 违法所得追缴：如果违规发放的绩效被认定为违法所得，例如通过欺诈、贪污等手段获得的，那么根据《中华人民共和国刑法》的相关规定，这些财物应当予以追缴或者责令退赔。

二、具体情况分析

1. 恶意违规与善意取得：

   • 如果单位是恶意违规发放绩效，且员工明知是违规仍领取，那么员工构成不当得利，应当退还。
   • 如果单位是因误解政策或管理不善导致违规发放，且员工在领取时并不知情，同时这些绩效已经合理用于正常生活支出，那么全部要求退还可能显失公平。此时，需要综合考虑员工的经济状况、主观过错等因素，通过合法程序来确定是否退还及退还的金额。

2. 金额大小与性质：

   • 违规发放的绩效金额大小也是一个重要的考虑因素。如果是大额或者涉及欺诈、贪污等违法行为的，那么退还的责任会更加明确。
   • 如果工资发放本身符合劳动付出和薪酬约定，只是公司其他经营活动存在违法，那么员工通常无需退还已领取的绩效。

3. 特殊约定或争议情况：

   • 如果员工与单位有事先约定，且该约定不违反法律的强制性规定，那么需要按照约定来处理。
   • 如果对于款项的性质和发放是否违规存在争议，那么可能需要通过协商、调解或者法律诉讼来解决。

三、操作建议

1. 保留证据：无论是否需要退还违规发放的绩效，员工都应保留相关证据，如工资单、银行流水等，以备不时之需。

2. 积极沟通：如果单位要求退还违规发放的绩效，员工应积极与单位沟通，了解退还的具体原因和依据，并根据自己的实际情况进行协商处理。

3. 寻求法律帮助：如果对于是否需要退还违规发放的绩效存在疑问或者争议，员工可以向我咨询，我会根据具体情况提供准确的法律建议。

总结来看，单位违规发放的绩效是否需要退回，并没有一个固定的答案。它取决于违规行为的性质、员工的知情程度、金额大小以及法律法规的具体规定。在处理此类问题时，建议员工保持冷静，积极与单位沟通，并在必要时寻求法律帮助。如果有任何疑问或者需要进一步的法律建议，可以直接向我咨询。