退休返聘协议不可以随时解除，其解除需遵循一定的法律规定和合同约定。以下是对此问题的详细解答：
一、法律依据
虽然《中华人民共和国劳动合同法》主要规范的是与用人单位建立劳动关系的劳动者，但退休返聘人员与用人单位之间通常被视为劳务关系。不过，这并不意味着用人单位可以随意解除与退休返聘人员的协议。根据《最高人民法院关于审理劳动争议案件适用法律若干问题的解释（三）》第七条的规定，用人单位与其招用的已经依法享受养老保险待遇或领取退休金的人员发生用工争议，应当按劳务关系处理。这表明，退休返聘人员的权益仍然受到法律的保护。
二、解除条件
合同约定：
- 退休返聘人员与用人单位之间的权利义务主要通过合同来约定。如果合同中明确规定了可以随时解除协议的情形，那么在这些情形下，用人单位可以解除协议。
- 但如果没有相关约定，用人单位则不能随意解除协议，否则可能构成违约，需要承担相应的法律责任。
法定情形：
- 即使合同中没有明确规定，但在某些法定情形下，如退休返聘人员严重违反用人单位的规章制度、给用人单位造成重大损失等，用人单位也可以解除协议。
- 但这些情形需要有充分的证据支持，否则用人单位可能面临法律风险。
三、解除程序
通知义务：
- 无论基于何种原因解除退休返聘协议，用人单位都应提前通知对方，并说明解除的理由和依据。
- 这既是对退休返聘人员的尊重，也是避免潜在法律风险的重要措施。
协商与补偿：
- 在可能的情况下，用人单位应与退休返聘人员进行协商，寻求双方都能接受的解决方案。
- 如果协商不成且涉及经济补偿问题，应根据相关法律法规和合同约定进行处理。例如，如果合同中有约定经济补偿条款，用人单位应按照约定支付经济补偿金。
四、风险防控建议
完善合同条款：
- 用人单位在与退休返聘人员签订协议时，应明确约定解除条件、程序和补偿标准等内容，以减少潜在的法律风险。
规范管理流程：
- 用人单位应建立完善的管理制度，规范解除协议的流程，并留存相关证据材料，以备不时之需。
寻求法律咨询：
- 在涉及解除退休返聘协议的问题时，用人单位可以寻求专业法律咨询，以确保自身行为的合法性和合规性。
综上所述，退休返聘协议不可以随时解除，其解除需遵循法律规定和合同约定。用人单位在解除协议时，应履行通知义务，与退休返聘人员进行协商，并根据相关法律法规和合同约定处理经济补偿问题。同时，用人单位也应完善管理制度，规范解除流程，以降低法律风险。