退休回聘人员，公司不可以随时随地不用，其辞退需遵循一定的法律规定和合同约定。以下是对此问题的详细分析：
一、法律依据与合同约定
法律依据：
- 虽然《中华人民共和国劳动合同法》主要规范的是与用人单位建立劳动关系的劳动者，但退休返聘人员虽不属于劳动关系范畴，其权益保护却可参照其中关于合同解除的相关规定理解双方权利义务（具体适用需结合实际情况及地方规定）。
- 《最高人民法院关于审理劳动争议案件适用法律若干问题的解释(三)》明确，用人单位与其招用的已经依法享受养老保险待遇或领取退休金的人员发生用工争议，按劳务关系处理。这意味着退休返聘人员的权益保护需依据民事法律规范和合同约定执行。
合同约定：
- 退休回聘人员与用人单位签订的聘用合同中应明确约定辞退条件、程序和补偿标准等内容。若合同中有明确规定，则双方需按约定执行。
二、辞退条件与程序
协商一致：
- 在符合法律规定的情形下，用人单位可与退休回聘人员协商一致后解除合同。此时需注意保留书面协议作为证据。
法定情形：
- 若出现严重违反规章制度、失职造成重大损失等法定情形，用人单位可单方解除合同，但必须提供充分证据证明违法事实存在。
提前通知：
- 除即时解除情形外，建议用人单位提前一定期限（如30天）书面通知被辞退人员，给予合理准备时间。
三、经济补偿与风险防控
经济补偿：
- 根据合同约定和实际情况，用人单位可能需要支付经济补偿金。具体金额由双方协商确定或通过司法途径裁决。
法律风险：
- 随意辞退可能引发劳务纠纷，导致赔偿损失、恢复履行等法律责任。建议用人单位完善管理制度，规范辞退流程并留存证据材料。
四、实际操作建议
- 完善合同：用人单位在与退休回聘人员签订聘用合同时，应明确约定辞退条件、程序和补偿标准等内容，以减少后续纠纷。
- 保留证据：在辞退过程中，用人单位应保留相关证据，如书面通知、协商记录等，以证明其辞退行为的合法性和合理性。
- 寻求法律帮助：若在辞退过程中遇到法律问题或纠纷，用人单位应及时寻求法律帮助，以确保其行为的合法性和有效性。
总结来看，退休回聘人员并非可以随时随地被辞退，其辞退需遵循一定的法律规定和合同约定。用人单位在辞退退休回聘人员时，应谨慎行事，确保其行为的合法性和合理性。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。