退休返聘员工工厂不能随时解聘，其解聘需遵循一定的法律规定和合同约定。以下是对此问题的详细分析：

一、法律依据与关系认定

1. 劳务关系认定：根据《最高人民法院关于审理劳动争议案件适用法律若干问题的解释（三）》第七条，用人单位与其招用的已经依法享受养老保险待遇或领取退休金的人员发生用工争议，人民法院应当按劳务关系处理。这意味着，退休返聘员工与工厂之间形成的是劳务关系，而非劳动关系。但即便如此，退休返聘员工的权益仍受到法律的保护，工厂不能随意解聘。

2. 合同约定优先：退休返聘员工与工厂之间的权利义务主要通过合同来约定。合同是双方意思自治的体现，只要合同内容不违反法律、行政法规的强制性规定，就应当受到法律的保护。因此，如果合同中明确规定了可以随时解除合同的情形，那么在这些情形下，工厂可以解除合同。但如果没有相关约定，工厂则不能随意解聘。

二、解聘条件与程序

1. 法定解聘情形：即使合同中没有明确规定解聘条件，工厂也不能随意解聘退休返聘员工。在某些法定情形下，如退休返聘员工严重违反工厂的规章制度、给工厂造成重大损失等，工厂可以解除合同。但这些情形需要有充分的证据支持，否则可能构成违法解聘，需要承担相应的法律责任。

2. 解聘程序要求：无论基于何种原因解聘退休返聘员工，工厂都应提前通知对方，并说明解聘的理由和依据。这既是对退休返聘员工的尊重，也是避免潜在法律风险的重要措施。同时，工厂应尽可能与退休返聘员工进行协商，寻求双方都能接受的解决方案。

三、经济补偿与风险防控

1. 经济补偿问题：如果工厂因解聘退休返聘员工而需要支付经济补偿金，具体金额应根据合同约定和实际情况来确定。如果合同中有明确约定，则按照约定执行；如果合同中没有约定或约定不明确，则可以根据退休返聘员工的工作年限、工资水平等因素来协商确定。

2. 法律风险防控：工厂在解聘退休返聘员工时，应严格遵守法律规定和合同约定，避免随意解聘引发的劳务纠纷。建议工厂完善管理制度，规范解聘流程，并留存相关证据材料，以应对可能出现的法律风险。

四、具体建议

1. 审查合同条款：工厂在解聘退休返聘员工前，应仔细审查合同条款，确保解聘行为符合合同约定和法律规定。

2. 充分沟通协商：工厂应尽可能与退休返聘员工进行充分沟通协商，了解对方的想法和需求，寻求双方都能接受的解决方案。

3. 依法支付补偿：如果解聘行为涉及经济补偿问题，工厂应依法支付补偿金，避免因此引发的法律纠纷。

4. 完善管理制度：工厂应完善管理制度，规范用工行为，避免类似问题的再次发生。

如果您在退休返聘员工的解聘问题上遇到任何疑问或需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况，为您提供专业、全面的法律建议。