返聘人员不可以随时辞退。用人单位在解除与返聘人员的劳务合同时，必须严格遵循合同规定和法律规定。以下是对此问题的详细分析：
一、返聘关系的法律性质
返聘人员，尤其是退休返聘人员，与用人单位之间建立的是劳务关系，而非劳动关系。这是因为退休人员已开始享受养老保险待遇或领取退休金，不再具备劳动关系的主体资格。劳务关系主要受《民法典》等民事法律的调整，而非《劳动合同法》的约束。
二、辞退条件与程序
合同约定：
- 返聘人员与用人单位签订的聘用合同或劳务协议中，应明确约定辞退条件、程序和补偿标准等内容。若合同中有明确规定，则双方需按约定执行。例如，合同可能规定需要提前通知的期限、支付违约金或经济补偿金的情况等。
协商一致：
- 在符合法律规定的情形下，用人单位可与返聘人员协商一致后解除合同。此时需注意保留书面协议作为证据，以避免后续纠纷。
法定情形：
- 若返聘人员出现严重违反规章制度、失职造成重大损失等法定情形，用人单位可单方解除合同。但必须提供充分证据证明违法事实存在，否则可能构成违法解除，需承担相应法律责任。
提前通知：
- 除即时解除情形外，建议用人单位提前一定期限（如30天）书面通知被辞退人员，给予其合理准备时间。这有助于维护双方的良好关系，并减少因突然辞退而引发的纠纷。
三、经济补偿与风险防控
经济补偿：
- 根据合同约定和实际情况，用人单位可能需要支付经济补偿金。具体金额由双方协商确定或通过司法途径裁决。若合同中有明确约定，则按约定执行；若无约定，则根据返聘人员的实际贡献、用人单位的过错程度等因素进行合理确定。
法律风险：
- 随意辞退返聘人员可能引发劳务纠纷，导致赔偿损失、恢复履行等法律责任。因此，建议用人单位完善管理制度，规范辞退流程，并留存证据材料以应对可能的法律纠纷。
四、实际操作建议
完善合同条款：
- 用人单位在签订返聘协议时，应尽可能明确辞退条件、程序、经济补偿等关键条款，以减少后续纠纷的风险。
加强沟通与协商：
- 在辞退返聘人员前，用人单位应与其进行充分沟通，了解其想法和需求，并尽量通过协商达成一致意见。这有助于维护双方的良好关系，并减少因辞退而引发的负面情绪。
遵循法律程序：
- 用人单位在辞退返聘人员时，必须严格遵循法律程序和合同约定。若出现违法解除或未支付经济补偿等情形，返聘人员有权向用人单位主张权利，并可能通过法律途径维护自己的合法权益。
综上所述，返聘人员不可以随时辞退。用人单位在解除与返聘人员的劳务合同时，必须严格遵守合同规定和法律规定，确保双方的权益得到妥善保护。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。