退休返聘人员并不能被随时解聘，其解聘或辞退需要遵循一定的法律规定和合同约定。以下是对此问题的详细解答：
一、法律依据
虽然《中华人民共和国劳动合同法》主要规范的是与用人单位建立劳动关系的劳动者，但退休返聘人员与用人单位之间通常被视为劳务关系。不过，这并不意味着用人单位可以随意解聘或辞退退休返聘人员。根据《最高人民法院关于审理劳动争议案件适用法律若干问题的解释（三）》第七条的规定，用人单位与其招用的已经依法享受养老保险待遇或领取退休金的人员发生用工争议，应当按劳务关系处理。这表明，退休返聘人员的权益仍然受到法律的保护。
二、解聘或辞退条件
合同约定：
- 退休返聘人员与用人单位之间的权利义务主要通过合同来约定。如果合同中明确规定了可以随时解除合同的情形，那么在这些情形下，用人单位可以解除合同。
- 但如果没有相关约定，用人单位则不能随意解聘或辞退退休返聘人员。
法定情形：
- 即使合同中没有明确规定，但在某些法定情形下，如退休返聘人员严重违反用人单位的规章制度、给用人单位造成重大损失等，用人单位也可以解除合同。
- 这些情形需要有充分的证据支持，否则用人单位可能面临法律风险。
三、解聘或辞退程序
通知义务：
- 无论基于何种原因解聘或辞退退休返聘人员，用人单位都应提前通知对方，并说明解聘或辞退的理由和依据。
- 这既是对退休返聘人员的尊重，也是避免潜在法律风险的重要措施。
协商与补偿：
- 在可能的情况下，用人单位应与退休返聘人员进行协商，寻求双方都能接受的解决方案。
- 如果协商不成且涉及经济补偿问题，应根据相关法律法规和合同约定进行处理。用人单位可能需要支付经济补偿金，具体金额由双方协商确定或通过司法途径裁决。
四、风险防控建议
- 完善合同管理：用人单位应与退休返聘人员签订详细的聘用合同，明确双方的权利义务、解聘或辞退条件、程序和补偿标准等内容。
- 规范管理制度：用人单位应建立完善的管理制度，明确规章制度和岗位职责，确保退休返聘人员了解并遵守。
- 留存证据材料：在解聘或辞退退休返聘人员时，用人单位应留存相关证据材料，如违规记录、损失证明等，以备不时之需。
综上所述，退休返聘人员并不能被随时解聘或辞退。用人单位在解聘或辞退退休返聘人员时，应遵循法律规定和合同约定，确保程序的合法性和合理性。