退休返聘人员并不能被随时解聘，其解聘或辞退需要遵循一定的法律规定和合同约定。以下是对此问题的详细解答：
一、法律依据
《中华人民共和国劳动合同法》：虽然该法主要规范的是与用人单位建立劳动关系的劳动者，但退休返聘人员与用人单位之间通常被视为劳务关系。不过，这并不意味着用人单位可以随意解聘退休返聘人员。在理解双方权利义务时，可以参照该法中关于合同解除的相关规定，但具体适用需结合实际情况及地方规定。
《最高人民法院关于审理劳动争议案件适用法律若干问题的解释（三）》：该解释明确规定，用人单位与其招用的已经依法享受养老保险待遇或领取退休金的人员发生用工争议，应当按劳务关系处理。这意味着退休返聘人员的权益保护需依据民事法律规范和合同约定执行。
二、解聘/辞退条件
合同约定：退休返聘人员与用人单位之间的权利义务主要通过合同来约定。如果合同中明确规定了可以解除合同的情形，如特定的工作任务完成、合同期限届满等，那么在这些情形下，用人单位可以解除合同。但如果没有相关约定，用人单位则不能随意解聘。
法定情形：即使合同中没有明确规定，但在某些法定情形下，如退休返聘人员严重违反用人单位的规章制度、给用人单位造成重大损失、不能胜任工作等，用人单位也可以解除合同。但这些情形需要有充分的证据支持，并且应确保解聘行为符合法律法规的规定。
三、解聘/辞退程序
通知义务：无论基于何种原因解聘退休返聘人员，用人单位都应提前通知对方，并说明解聘的理由和依据。这既是对退休返聘人员的尊重，也是避免潜在法律风险的重要措施。建议用人单位以书面形式通知，并保留好相关证据。
协商与补偿：在可能的情况下，用人单位应与退休返聘人员进行协商，寻求双方都能接受的解决方案。如果协商不成且涉及经济补偿问题，应根据相关法律法规和合同约定进行处理。例如，如果合同中有约定经济补偿的标准和方式，那么应按照约定执行；如果没有约定，则可以根据实际情况和公平原则进行协商。
四、经济补偿与风险防控
经济补偿：根据合同约定和实际情况，用人单位可能需要支付经济补偿金。具体金额由双方协商确定或通过司法途径裁决。在协商经济补偿时，应充分考虑退休返聘人员的工作年限、工资水平、工作表现等因素。
法律风险：随意解聘退休返聘人员可能引发劳务纠纷，导致赔偿损失、恢复履行等法律责任。因此，建议用人单位完善管理制度，规范解聘流程，并留存好相关证据材料，以应对可能的法律纠纷。
综上所述，退休返聘人员并不能被随时解聘，其解聘或辞退需要遵循一定的法律规定和合同约定。用人单位在解聘退休返聘人员时，应确保解聘行为合法合规，并充分考虑退休返聘人员的权益和利益。