单位并不能随便辞退退休人员，这主要基于以下几个方面的法律分析：
退休人员与单位的关系性质：
- 退休人员已经享受养老保险待遇或领取退休金，他们与原单位之间的关系通常不再属于《中华人民共和国劳动合同法》所调整的劳动关系范畴。这意味着，传统的劳动合同法中关于辞退、解雇等规定，并不直接适用于退休人员。
辞退退休人员的法律限制：
- 尽管退休人员与单位之间可能不再构成劳动关系，但单位在辞退退休人员时，仍需遵循一定的法律原则和道德规范。特别是，如果退休人员被单位返聘，并签订了返聘协议或劳务合同，那么单位在辞退时就需要按照协议或合同的约定来执行。
- 如果返聘协议或劳务合同中没有明确约定辞退条件，单位在辞退退休人员时应当谨慎行事，避免侵犯退休人员的合法权益。例如，单位不能无故辞退退休人员，也不能基于歧视性理由（如年龄、性别等）进行辞退。
退休人员被辞退后的权益保障：
- 如果退休人员被单位无故辞退，他们有权要求单位说明辞退理由，并可以寻求法律途径来维护自己的权益。例如，退休人员可以向劳动争议调解仲裁机构申请调解或仲裁，要求单位支付违法辞退的赔偿金等。
- 在某些情况下，如果退休人员与单位之间的争议无法通过调解或仲裁解决，退休人员还可以向人民法院提起诉讼，要求法院对争议进行裁决。
特殊情况下的辞退：
- 当然，也存在一些特殊情况，如退休人员严重违反单位规章制度、给单位造成重大损失等，单位在这些情况下可能有权辞退退休人员。但即便如此，单位也需要确保辞退决定有充分的证据支持，并遵循相应的法律程序。
建议：
- 对于退休人员而言，如果与单位签订了返聘协议或劳务合同，应当仔细阅读合同条款，了解自己的权益和义务。在遭遇辞退时，要及时与单位沟通并寻求法律帮助。
- 对于单位而言，在辞退退休人员时应当谨慎行事，确保辞退决定合法合规。如果与退休人员之间存在争议，应当积极寻求调解或仲裁等解决方式，避免引发不必要的法律纠纷。
总之，单位并不能随便辞退退休人员。在处理与退休人员的关系时，单位应当遵循法律原则和道德规范，确保双方的权益得到充分保障。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。