退休返聘人员不可以被用人单位随时解聘，这种解聘行为一般是不合法的。以下是对此问题的详细分析：
一、法律依据与关系认定
《中华人民共和国劳动合同法》的参照适用：虽然该法主要规范的是与用人单位建立劳动关系的劳动者，但退休返聘人员虽不属于传统劳动关系范畴，在处理相关争议时，可参照其中关于合同解除的相关规定来理解双方的权利义务（具体适用需结合实际情况及地方规定）。
劳务关系的认定：根据《最高人民法院关于审理劳动争议案件适用法律若干问题的解释(三)》的规定，用人单位与其招用的已经依法享受养老保险待遇或领取退休金的人员发生用工争议，按劳务关系处理。这意味着退休返聘人员的权益保护主要依据民事法律规范和双方签订的聘用合同来执行。
二、解聘条件与程序
合同约定：退休返聘人员与用人单位签订的聘用合同中应明确约定解聘条件、程序和补偿标准等内容。若合同中有明确规定，则双方需按约定执行。这是解聘退休返聘人员的主要依据。
协商一致：在符合法律规定的情形下，用人单位可与退休返聘人员协商一致后解除合同。此时，双方应签订书面协议，明确解除合同的原因、时间、补偿等事项，并保留好相关证据。
法定情形：若退休返聘人员出现严重违反规章制度、失职造成重大损失等法定情形，用人单位可单方解除合同。但在此情况下，用人单位必须提供充分证据证明违法事实存在，否则可能构成违法解聘。
提前通知：除即时解除情形外，建议用人单位提前一定期限（如30天）书面通知被解聘人员，给予其合理准备时间。这有助于减少纠纷和冲突，维护双方的良好关系。
三、经济补偿与风险防控
经济补偿：根据合同约定和实际情况，用人单位可能需要支付经济补偿金。具体金额由双方协商确定或通过司法途径裁决。若合同中有明确约定，则按约定执行；若无约定或约定不明，则可根据实际情况和公平原则进行裁决。
法律风险：随意解聘退休返聘人员可能引发劳务纠纷，导致赔偿损失、恢复履行等法律责任。因此，建议用人单位在解聘前充分评估法律风险，完善管理制度，规范解聘流程，并留存好相关证据材料。
四、实际建议
对于退休返聘人员而言，在签订聘用合同时应仔细阅读合同条款，特别是关于解聘条件、程序和补偿等方面的约定。若对合同条款有疑问或不满，应及时与用人单位沟通协商，确保自己的权益得到充分保障。
对于用人单位而言，在解聘退休返聘人员时应严格遵守法律法规和合同约定，确保解聘行为的合法性和合理性。同时，应加强与退休返聘人员的沟通协商，尽量通过友好方式解决纠纷和冲突。
若您在退休返聘或解聘过程中遇到任何法律问题或困惑，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。