关于退休返聘合同是否可以随时解除的问题，这并非一个简单的“是”或“否”的答案，而是需要根据具体情况和合同约定来综合判断。以下是我为您提供的详细解答：
首先，我们需要明确退休返聘人员与用人单位之间建立的是劳务关系，而非劳动关系。这意味着，这一关系的调整并不直接受《劳动合同法》等劳动法律法规的约束，而是主要遵循双方签订的劳务合同以及《民法典》等民事法律的规定。
一、合同约定的解除条件
有明确约定：如果双方在劳务合同中对于合同的解除条件、程序及违约责任等有明确具体的约定，那么应当严格按照合同约定执行。例如，合同中可能规定了解除合同的提前通知期限、特定情形下的解除权等。在这些情况下，只要满足合同约定的条件，合同就可以按照约定解除。
无明确约定：如果劳务合同中没有明确约定解除条件或程序，那么就不能随意解除合同。此时，双方需要参考《民法典》中关于合同解除的相关规定进行协商或法定解除。
二、法定解除情形
在劳务合同没有明确约定解除条件或程序的情况下，以下是一些可能的法定解除情形：
协商一致解除：双方可以通过友好协商，就合同的解除达成一致意见。只要双方都愿意，并且就解除的相关事宜（如工作交接、报酬结算等）协商妥当，即可随时解除合同。
法定解除权：在特定情形下，一方或双方可能享有法定解除权。例如，因不可抗力导致合同目的无法实现、一方明确表示或以自己的行为表明不履行主要债务、一方迟延履行主要债务经催告后在合理期限内仍未履行、一方迟延履行债务或有其他违约行为致使不能实现合同目的等。在这些情况下，受影响的一方可以依法解除合同。
三、解聘程序与注意事项
通知义务：无论基于何种原因解除合同，用人单位都应提前通知退休返聘人员，并说明解除的理由和依据。这是对退休返聘人员的尊重，也是避免潜在法律风险的重要措施。
协商与补偿：在可能的情况下，用人单位应与退休返聘人员进行协商，寻求双方都能接受的解决方案。如果协商不成且涉及经济补偿问题，应根据相关法律法规和合同约定进行处理。例如，如果合同中有关于经济补偿的约定，那么应按照约定执行；如果没有约定，则可能需要参考《民法典》中关于合同解除后损害赔偿的规定。
四、总结与建议
综上所述，退休返聘合同是否可以随时解除取决于合同的具体约定和法定情形。为了避免潜在的法律风险和纠纷，我建议您：
在签订劳务合同时，务必明确约定合同的解除条件、程序及违约责任等关键条款。
在解除合同前，务必提前通知对方并说明解除的理由和依据。
在可能的情况下，尽量与对方进行协商并寻求双方都能接受的解决方案。
如果涉及经济补偿问题，务必根据相关法律法规和合同约定进行处理。
希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的法律建议，请随时咨询。