离职后单位要求退钱是不合法的，除非有特殊约定或法律规定。针对这一问题，我们可以从以下几个方面进行分析：
一. 工资支付的规定
- 工资不得克扣或无故拖欠：根据《中华人民共和国劳动法》第五十条，工资应当以货币形式按月支付给劳动者本人，不得克扣或者无故拖欠劳动者的工资。这意味着，一旦工资已经支付给劳动者，除非有合法理由（如误发、多发等），否则单位无权要求退回。
二. 单位要求退钱的可能情形
- 特殊约定：如果劳动合同中有明确约定，在某些特定情况下（如离职后需退回部分奖金、补贴等），单位可以要求劳动者退钱。但这种约定必须合法、合理，且不得违反劳动法的强制性规定。
- 单位误发或多发工资：如果单位因工作失误而误发或多发了工资给劳动者，那么单位有权要求劳动者退回多发的部分。
三. 单位无权要求退钱的情形
- 正常工资支付：如果单位要求退回的是劳动者已经正常领取的工资，那么这是不合法的。劳动者有权拒绝退回，并可以向劳动行政部门投诉或申请劳动仲裁。
四. 建议与结论
- 检查劳动合同：首先，建议劳动者检查劳动合同中是否有关于离职后退钱的特殊约定。如果有，需要仔细审查该约定的合法性和合理性。
- 沟通协商：如果单位要求退钱，劳动者可以与单位进行沟通协商，了解具体的原因和依据。如果认为单位的要求不合理或不合法，可以拒绝退回，并寻求法律帮助。
- 法律维权：如果单位坚持要求退钱，并且劳动者认为这不合理或不合法，那么劳动者可以向当地的劳动行政部门投诉，或者申请劳动仲裁来维护自己的合法权益。
我的观点：离职后单位要求退钱的情况需要具体分析。如果单位的要求没有合法依据或违反了劳动法的规定，那么劳动者有权拒绝退回，并可以通过法律途径来维护自己的权益。如有进一步需要，您可以继续咨询我。