退休人员不可以被随时辞退。退休人员与用人单位之间的关系以及辞退的相关规定，可以从以下几个角度进行详细分析：
退休后劳动关系的自然终止：
- 退休是指劳动者因年老或因工、因病致残，完全丧失劳动能力（或部分丧失劳动能力）而根据国家有关规定退出工作岗位的过程。一旦退休，劳动者与原用人单位的劳动关系即自然终止，无需再履行辞职手续，相应地，用人单位也不能随意“辞退”已退休人员，因为此时双方已不存在劳动关系。
退休后到新单位工作的性质：
- 如果退休人员退休后又选择到新的单位工作，此时双方建立的是劳务关系，而非劳动关系。劳务关系的特点在于双方的权利义务主要通过劳务合同来确定，包括工作内容、报酬、辞退条件等。
- 在劳务关系中，用人单位辞退退休人员需遵循合同约定或法定情形。如果劳务合同中明确约定了辞退的条件和程序，用人单位需按照合同约定执行。例如，合同约定需提前通知或支付一定补偿才能辞退，则用人单位应照做。
- 即便合同没有详细约定，若存在法定可解除劳务关系的情形，如退休人员严重违反用人单位规章制度、给单位造成重大损失等，用人单位也可以解除劳务关系，但需有充分证据支持。
经济补偿的问题：
- 在劳务关系下，用人单位辞退退休人员通常不需要按照《劳动合同法》的规定支付经济补偿。这是因为劳务关系的解除没有法定上的补偿与赔偿要求，双方的权利义务主要通过协商确定。
- 然而，如果劳务合同中明确规定了辞退时需支付经济补偿或其他相关费用，则用人单位需按照合同约定执行。
特殊情况下的劳动关系：
- 在一些地区或特定情形下，对于退休人员返聘可能存在特殊规定，使退休人员与用人单位之间构成特殊劳动关系。在这种情况下，辞退需要符合当地规定以及双方的约定，并且要遵循一定的程序。用人单位在辞退时可能需考虑特定的考核标准、通知期限等因素。
法律建议：
- 对于退休人员而言，在退休后选择继续工作时，应明确与用工单位建立的是劳务关系，并仔细阅读劳务合同中的条款，特别是关于辞退条件、程序和经济补偿的内容。
- 对于用人单位而言，在辞退退休人员时，应遵循合同约定或法定情形，并确保有充分证据支持辞退决定。同时，建议用人单位完善管理制度，规范辞退流程并留存证据材料，以避免潜在的劳务纠纷。
综上所述，退休人员不可以被随时辞退，其辞退需遵循合同约定或法定情形。在实际操作中，建议双方明确劳务合同的内容，以确保各自权益得到保障。如果你有进一步的法律问题或需要更详细的法律建议，可以直接向我咨询。