退休返聘人员不可以随时辞退，用人单位在解除与退休返聘人员的劳务合同时，必须严格遵循合同规定和法律规定。以下是对此问题的详细分析：

一、合同基础与约定

退休返聘人员与用人单位之间建立的是劳务关系，这种关系通常通过签订劳务协议或聘用合同来明确。在这些合同中，双方会详细约定劳务期限、工作内容、报酬、解除条件等关键条款。

1. 合同约定的重要性：如果合同中明确规定了辞退的条件和程序，那么用人单位在辞退退休返聘人员时，必须严格按照合同执行。例如，合同中可能规定需要提前通知的期限、支付违约金或经济补偿金的情况等。若用人单位未按照合同约定执行，可能构成违约，需要承担相应的法律责任。

2. 合同的约束力：即使合同中没有明确规定辞退条款，用人单位也不能随意辞退退休返聘人员。因为根据《民法典》的相关规定，当事人应当诚实守信地履行自己的义务，不得无故解除合同。随意辞退可能引发劳务纠纷，导致赔偿损失、恢复履行等法律责任。

二、法律依据与原则

退休返聘人员与用人单位之间的劳务关系主要受《民法典》的调整。这意味着双方在解除合同时，需要遵循《民法典》中关于合同解除的一般规定。

1. 法定解除事由：虽然劳务合同不像劳动合同那样有严格的法定解除限制，但用人单位在辞退退休返聘人员时，仍然需要有合理的事由。这些事由可能包括返聘人员严重违反用人单位的规章制度、因自身过错给用人单位造成重大经济损失等。用人单位需要提供充分的证据来证明这些事由的存在。

2. 公平原则：在法律没有明确规定的情况下，用人单位在辞退退休返聘人员时，还应当遵循法律公平原则，确保双方的权益得到平衡保护。例如，在辞退过程中，用人单位应给予退休返聘人员合理的准备时间，并与其进行充分的沟通协商。

三、解聘补偿与责任

1. 补偿的约定：对于是否给予解聘补偿以及补偿的标准，这主要取决于双方签订的劳务协议或聘用合同中的约定。如果合同中明确规定了经济补偿金的支付条件和标准，那么用人单位在符合这些条件时，应当按照约定予以支付。这有助于保障退休返聘人员的合法权益，减少因辞退而引发的纠纷。

2. 违约责任：如果用人单位无正当理由违反合同约定辞退退休返聘人员，构成违约，那么用人单位需要承担违约责任。这可能包括按照协议支付一定的违约金或赔偿返聘人员因此遭受的损失。违约责任的承担有助于维护合同的严肃性和法律的权威性。

四、实际操作建议

1. 完善合同条款：用人单位在与退休返聘人员签订劳务协议或聘用合同时，应尽量明确辞退的条件和程序，以及经济补偿金的支付条件和标准等关键条款。这有助于减少潜在的纠纷和风险。

2. 遵循法定程序：在辞退退休返聘人员时，用人单位应遵循法定程序，如提前通知、说明理由、提供证据等。这有助于保障退休返聘人员的合法权益，避免引发不必要的法律纠纷。

3. 加强沟通协商：在辞退过程中，用人单位应与退休返聘人员进行充分的沟通协商，寻求双方都能接受的解决方案。这有助于维护良好的劳动关系，减少因辞退而引发的负面影响。

综上所述，退休返聘人员不可以随时辞退。用人单位在解除与退休返聘人员的劳务合同时，必须严格遵守合同规定和法律规定，确保双方的权益得到妥善保护。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。