关于退休返聘人员如何解除与用人单位的合同，这是一个涉及劳务关系调整及合同解除原则的问题。以下是我为您提供的详细解答：
一、明确劳务关系性质
退休返聘人员与用人单位之间建立的是劳务关系，而非劳动关系。这意味着，这一关系的调整并不受《劳动合同法》等相关劳动法律法规的直接约束，而是主要遵循双方签订的劳务合同以及《民法典》等民事法律的规定。
二、合同解除的依据
有约定从约定：
- 如果双方在劳务合同中对于合同的解除条件、程序及违约责任等有明确具体的约定，那么应当严格按照合同约定执行。例如，合同中可能规定了解除合同的提前通知期限、特定情形下的解除权等。
没有约定的法定情形：
- 在劳务合同没有明确约定解除条件或程序的情况下，可以参考《民法典》中关于合同解除的相关规定。这主要包括以下几种情形：
- 协商一致解除：双方可以通过友好协商，就合同的解除达成一致意见。只要双方都愿意，并且就解除的相关事宜（如工作交接、报酬结算等）协商妥当，即可随时解除合同。
- 法定解除权：在特定情形下，一方或双方可能享有法定解除权。例如，因不可抗力导致合同目的无法实现、一方明确表示或以自己的行为表明不履行主要债务、一方迟延履行主要债务经催告后在合理期限内仍未履行、一方迟延履行债务或有其他违约行为致使不能实现合同目的等。在这些情况下，受影响的一方可以依法解除合同。
三、常见解除事由
除了上述的法定和约定解除情形外，还有一些常见的解除事由，包括但不限于：
- 严重违约：如违反保密义务、竞业限制或重大失职导致损失。
- 不能胜任工作：经培训或调岗后仍无法完成工作任务，需提前通知（具体期限依协议）。
- 客观情况变化：如用人单位经营困难、项目终止等不可抗力因素。
- 刑事犯罪：被依法追究刑事责任时，用人单位可立即解除合同。
- 健康原因：返聘人员因病无法继续履职，需提供医疗证明。
四、合同解除的原则与注意事项
遵循公平、合理、诚实信用的原则：
- 无论是有约定还是无约定的情形，合同解除都应当遵循这些原则。双方应当尊重对方的合法权益，确保合同的解除过程合法、公正、合理。
经济补偿问题：
- 劳务关系下无法定经济补偿金，但若协议中有约定（如服务满X年支付N个月工资），则需履行。
工作交接与离职手续：
- 明确交接流程、资料归还、费用结算等，避免后续纠纷。
保密与竞业限制：
- 协议中约定的保密义务和竞业限制条款在解除后仍需遵守。
证据留存：
- 用人单位需保存考勤记录、绩效考核结果、沟通邮件等证据，以应对潜在争议。
五、操作建议
签订书面协议：
- 明确聘用期限、职责、解除条件及补偿标准，以减少后续纠纷。
定期评估：
- 通过绩效考核等方式动态评估返聘人员的履职能力，及时调整合同或解除聘用。
法律咨询：
- 在复杂情况下建议咨询律师，确保程序合法合规，降低法律风险。
综上所述，退休返聘人员与用人单位之间的合同解除问题应根据双方签订的劳务合同的具体内容来确定。在有明确约定的情况下按约定执行；在无明确约定时，则需参考《民法典》的相关规定进行协商或法定解除。在任何情况下，都应确保合同的解除符合法律法规的要求，并尊重双方的合法权益。