单位违规发放的钱并不一定都必须退还，具体是否需要退还取决于多种因素。以下是从不同角度对这一问题的详细分析：
一、法律法规依据
《中华人民共和国刑法》第六十四条：
- 如果违规发放的钱被认定为违法所得，如通过欺诈、贪污等手段获得的，那么根据这一条款，这些钱应当予以追缴或者责令退赔。
《中华人民共和国民法典》第九百八十五条：
- 这一条款规定了不当得利的返还义务。如果员工因单位违规发放而获得不当利益，且没有法律根据，那么受损失的单位可以请求员工返还取得的利益。但需要注意的是，如果员工明知无给付义务而进行的债务清偿，则不适用这一条款。
二、具体情况分析
恶意违规与善意取得：
- 恶意违规：如果单位恶意违规发放，且员工明知是违规仍领取，那么员工构成不当得利，必须退还违规发放的钱。
- 善意取得：若单位因误解政策或管理不善导致违规发放，且员工在领取时不知情，并已合理用于正常生活支出，那么全部要求退还可能显失公平。此时，需综合考虑员工经济状况、主观过错等因素，通过合法程序确定是否退还及金额。
金额大小与性质：
- 金额大小：违规取酬的金额大小是重要考虑因素。大额或涉及欺诈、贪污等违法行为的，退还责任更明确。
- 性质：若工资发放本身符合劳动付出和薪酬约定，只是公司其他经营活动存在违法，员工通常无需退还工资。但如果工资发放本身就存在违规，如虚报工时、提高工价等，那么员工可能需要退还违规部分。
特殊约定或争议情况：
- 如果员工与单位有事先约定，且不违反法律强制性规定，那么按照约定处理。
- 若款项性质和发放是否违规存在争议，那么需要通过协商、调解或法律诉讼等方式解决。
三、操作建议
保留证据：
- 员工应保留相关证据，如工资单、银行流水、工作记录等，以备不时之需。这些证据有助于证明员工是否知情、是否构成不当得利等关键事实。
积极配合调查：
- 若单位或相关部门要求退还违规发放的钱，员工应积极配合调查，并根据实际情况进行协商处理。在协商过程中，员工可以提出自己的合理诉求和依据，争取达成公平合理的解决方案。
寻求法律帮助：
- 如果员工对是否需要退还违规发放的钱存在疑问或争议，可以直接向我咨询。我会根据具体情况提供专业的法律建议和风险评估，帮助员工维护自己的合法权益。
综上所述，单位违规发放的钱是否必须退还并没有一个简单的答案。它取决于违规行为的性质、员工的知情程度、金额大小以及法律法规的具体规定等多种因素。因此，在处理此类问题时，建议员工保持冷静、保留证据，并积极寻求法律帮助以维护自己的合法权益。