单位不能随便辞退已退休人员，这主要基于以下几个方面的法律和事实考量：
退休人员与单位的关系性质：
- 已退休人员与单位之间通常不再构成劳动关系，而是可能形成劳务关系或其他类型的合同关系。这是因为退休意味着劳动者已经达到了法定的退休年龄，并开始享受养老保险待遇，从而退出了劳动力市场。
- 在劳务关系中，双方的权利义务通常由合同约定，而非由劳动法律法规直接规定。因此，单位不能简单地依据劳动法律法规中的辞退条款来解除与退休人员的关系。
辞退的法律依据与限制：
- 如果单位与退休人员之间签订的是劳务合同，那么辞退退休人员应当依据劳务合同的约定进行。如果合同中没有明确约定辞退的条件和程序，单位就不能随意辞退退休人员。
- 即使合同中有相关约定，单位在辞退退休人员时也需要遵循公平、合理、诚信的原则，不得违反法律法规的强制性规定，如不得因退休人员的年龄、性别、种族等因素而歧视性辞退。
退休人员的权益保护：
- 退休人员作为社会的一员，其合法权益同样受到法律的保护。如果单位随意辞退退休人员，可能构成违约或侵权行为，需要承担相应的法律责任。
- 退休人员在被辞退时，有权要求单位说明辞退的理由，并有权对辞退决定提出异议或寻求法律救济。
特殊情况下的辞退：
- 在某些特殊情况下，如退休人员严重违反单位规章制度、给单位造成重大损失等，单位可能有权依据合同约定或法律法规的规定辞退退休人员。但这种情况需要具体分析，并确保辞退决定的合法性和合理性。
建议与注意事项：
- 对于单位而言，在与退休人员签订劳务合同时，应当明确约定双方的权利义务、辞退的条件和程序等条款，以避免后续纠纷的发生。
- 对于退休人员而言，在签订劳务合同时应当仔细阅读合同条款，了解自己的权益和义务。如果被单位辞退，应当及时咨询专业律师或相关机构，了解自己的法律救济途径。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。