用人单位与退休人员签订的劳务合同解除时，通常不需要承担经济补偿金或赔偿金，但需根据具体情况判断是否存在违约责任或损害赔偿责任。以下从不同角度详细分析：
一、劳务合同与劳动合同的本质区别
退休人员与用人单位签订的是劳务合同，而非劳动合同。劳务合同受《中华人民共和国民法典》调整，而劳动合同受《中华人民共和国劳动合同法》调整。这一本质区别决定了两者在解除时的法律后果不同。
二、无需支付经济补偿金或赔偿金的情形
协商一致解除：
- 根据《中华人民共和国民法典》第五百六十二条，当事人协商一致可以解除合同。退休人员与用人单位可通过书面或口头形式达成解除合意，并明确解除时间、工作交接及费用结算等事项。在此情形下，用人单位无需支付经济补偿金或赔偿金。
- 例子：某公司因业务调整需解聘退休返聘人员，经沟通后双方签订协议，约定30日内完成工作交接并支付剩余报酬，无需额外补偿。
法定情形单方解除：
- 若存在不可抗力致使不能实现合同目的（如自然灾害导致项目终止）、一方明确表示或以行为表明不履行主要债务（如长期旷工）、迟延履行主要债务且催告后未改正、违约行为致使合同目的无法实现（如严重失职造成重大损失）等法定情形，用人单位可单方解除合同，且无需支付经济补偿金或赔偿金。
- 注意：用人单位需保留相关证据（如考勤记录、催告函件），并通过书面形式通知对方解除。
任意解除权的行使：
- 若劳务协议中约定了任意解除权条款，允许双方在提前通知后无条件解除合同，则用人单位可依此条款操作，无需支付经济补偿金或赔偿金。
- 例子：协议中约定“任何一方提前30日书面通知可解除合同”，则双方均可依此条款操作。
三、可能需要承担赔偿责任的情形
违约责任：
- 若劳务协议中约定了违约金（如服务期未满需支付费用），且用人单位提前解除合同构成违约，则需按约定支付违约金。
- 例子：协议约定“提前解除合同需支付一个月报酬作为违约金”，若用人单位提前解除合同，则需支付该违约金。
损害赔偿责任：
- 若因用人单位的过错导致退休人员产生损失（如未及时提供工作条件导致差旅费损失），则用人单位需承担相应的损害赔偿责任。
- 例子：用人单位未及时提供工作所需的设备或资料，导致退休人员产生额外的差旅费或住宿费，用人单位需赔偿该部分费用。
特殊约定的优先性：
- 若劳务协议中明确约定了解除时需支付补偿金或其他费用，则应优先按约定执行。
- 例子：某协议约定“因用人单位原因解除合同，需支付相当于三个月报酬的补偿金”，若用人单位因自身原因解除合同，则需支付该补偿金。
四、关键注意事项
协议审查：
- 仔细阅读劳务合同条款，明确解除条件、赔偿责任及争议解决方式。
证据留存：
- 保存考勤记录、沟通邮件、协议文本等材料，以支持主张。
书面通知：
- 无论协商还是单方解除，均应以书面形式通知对方并保留送达凭证。
总结：用人单位与退休人员签订的劳务合同解除时，通常无需支付经济补偿金或赔偿金，但需根据具体情况判断是否存在违约责任或损害赔偿责任。建议用人单位在解除劳务合同时，仔细审查合同条款，保留相关证据，并通过书面形式通知对方，以避免后续纠纷。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。