退休返聘人员不能随时被解聘或辞退，其解聘或辞退需遵循一定的法律规定和合同约定。以下是对此问题的详细解答：
一、法律依据
《中华人民共和国劳动合同法》：虽然该法主要规范的是与用人单位建立劳动关系的劳动者，但退休返聘人员与用人单位之间通常被视为劳务关系。不过，这并不意味着用人单位可以随意解聘或辞退退休返聘人员。在理解双方权利义务时，可以参照该法中关于合同解除的相关规定，但具体适用需结合实际情况及地方规定。
《最高人民法院关于审理劳动争议案件适用法律若干问题的解释（三）》：该解释明确规定，用人单位与其招用的已经依法享受养老保险待遇或领取退休金的人员发生用工争议，应当按劳务关系处理。这意味着退休返聘人员的权益保护需依据民事法律规范和合同约定执行。
二、解聘或辞退条件
合同约定：退休返聘人员与用人单位之间的权利义务主要通过合同来约定。如果合同中明确规定了可以解除或辞退合同的情形，那么在这些情形下，用人单位可以解除或辞退合同。但如果没有相关约定，用人单位则不能随意解聘或辞退。
法定情形：即使合同中没有明确规定，但在某些法定情形下，如退休返聘人员严重违反用人单位的规章制度、给用人单位造成重大损失等，用人单位也可以解除或辞退合同。但这些情形需要有充分的证据支持，否则可能构成违法解聘或辞退。
三、解聘或辞退程序
通知义务：无论基于何种原因解聘或辞退退休返聘人员，用人单位都应提前通知对方，并说明解聘或辞退的理由和依据。这既是对退休返聘人员的尊重，也是避免潜在法律风险的重要措施。
协商与补偿：在可能的情况下，用人单位应与退休返聘人员进行协商，寻求双方都能接受的解决方案。如果协商不成且涉及经济补偿问题，应根据相关法律法规和合同约定进行处理。例如，根据合同约定和实际情况，用人单位可能需要支付经济补偿金。
四、法律风险与防控
法律风险：随意解聘或辞退退休返聘人员可能引发劳务纠纷，导致用人单位面临赔偿损失、恢复履行等法律责任。
风险防控：建议用人单位完善管理制度，规范解聘或辞退流程，并留存相关证据材料。同时，在签订聘用合同时，应明确约定解聘或辞退条件、程序和补偿标准等内容，以减少潜在的法律风险。
综上所述，退休返聘人员不能随时被解聘或辞退，其解聘或辞退需遵循法律规定和合同约定。用人单位在解聘或辞退退休返聘人员时，应谨慎处理，确保合法合规。