结论前置：签过返聘合同的单位不可以随时辞退返聘人员，返聘合同的解除需基于双方协商一致、约定解除条件成就或法定解除情形出现。

详细分析：

1. 返聘合同的法律性质：

   • 返聘合同，作为特殊类型的劳务合同，其法律性质与普通的劳动合同有所不同。退休人员被返聘后，与用人单位之间建立的是劳务关系，而非劳动关系。这一性质的界定基于退休人员已开始享受养老保险待遇或领取退休金，不再具备劳动关系的主体资格。因此，返聘关系主要受《民法典》等民事法律的调整，而非《劳动合同法》的约束。

2. 返聘合同的解除条件：

   • 双方协商一致解除：返聘人员与用人单位在平等自愿的基础上，可协商解除返聘合同。这是合同自由原则的体现，只要双方意思表示真实且不违反法律法规强制性规定，即可达成解除协议。
   • 约定解除条件达成时解除：返聘合同中应明确约定解除条件，如工作任务未完成、特定事件发生等。当这些条件成就时，合同自动解除或依据约定程序解除。因此，在签订合同时，双方应仔细阅读并理解相关条款，特别是关于解除条件的约定。
   • 法定解除情形：
     • 用人单位解除：若返聘人员严重违反用人单位规章制度、严重失职或营私舞弊给用人单位造成重大损害、因违法犯罪行为被依法追究刑事责任等，用人单位有权解除返聘合同。
     • 返聘人员解除：若用人单位未按照返聘合同约定提供劳动条件或未及时足额支付报酬、存在违法违规行为损害返聘人员权益等，返聘人员有权解除返聘合同。

3. 违约责任与赔偿：

   • 若不符合上述约定或法定的解除条件，一方擅自解除返聘合同，将构成违约，需承担相应的违约责任。给对方造成损失的，还应依法承担赔偿责任。因此，在解除返聘合同前，双方应充分评估解除合同的法律后果，避免不必要的法律纠纷。

4. 合同签订时的注意事项：

   • 在签订返聘合同时，双方应充分沟通并明确合同内容，特别是关于解除条件的约定。返聘人员应仔细审查合同条款，确保自身权益得到保障。若合同中存在模糊或不明确之处，应及时提出并协商解决。此外，双方还可以约定违约责任和赔偿方式等条款，以进一步明确双方的权利和义务。

建议与总结：

• 对于返聘人员而言，在签订返聘合同前应充分了解合同内容，特别是关于解除条件的约定。在合同履行过程中，应遵守用人单位的规章制度和合同约定，避免因违约而承担法律责任。
• 对于用人单位而言，在签订返聘合同时应明确约定解除条件和违约责任等条款，以便在需要解除合同时有明确的法律依据。同时，在合同履行过程中应尊重返聘人员的权益，提供必要的劳动条件和报酬等。
• 若遇到返聘合同解除等复杂问题，建议及时向我咨询以获取准确的法律意见与帮助。作为专业律师，我将根据您的具体情况提供个性化的法律解决方案。