返聘退休人员的劳务合同到期后，是可以离开工作单位的，但具体处理需依据合同约定和法律规定。以下从不同角度为您详细分析：

一、法律性质与合同类型

1. 法律性质：退休人员因已享受基本养老保险待遇或达到法定退休年龄，其与用人单位之间的用工关系被明确为劳务关系，而非劳动关系。因此，双方签订的是劳务合同，而非劳动合同。

2. 合同类型：劳务合同与劳动合同在法律性质、主体、履行过程中的地位、标的、工作方式和风险承担方式、报酬的结算和支付方式、法律干预强度、法律适用以及处理程序等方面均存在显著差异。

二、合同到期后的处理

1. 合同约定：若劳务合同中明确规定了合同期限，并且未约定期满后不续签应予补偿的条款，则合同到期后，用人单位有权选择终止劳务关系，且无需支付经济补偿金。但用人单位应确保解除行为的合法性和合理性，避免损害退休返聘人员的合法权益。

2. 遵循原则：在解除劳务合同时，用人单位应遵循诚实信用原则，不得无故损害退休返聘人员的合法权益。若劳务合同中约定了合同期满后的处理方式，如提前通知、结算报酬等，用人单位应严格按照合同约定执行。

三、特殊情况与注意事项

1. 合同特殊约定：若劳务合同中有特殊约定，如自动续签条款或特定解除理由，用人单位应遵守这些约定，否则可能面临违约责任。

2. 事实劳务关系：合同到期后，若退休返聘人员仍继续提供劳务且用人单位未及时提出异议，可能会形成新的事实劳务关系。此时，用人单位若突然终止关系，应谨慎处理，以避免可能的法律纠纷。

3. 提前解除：即使劳务合同未到期，若双方协商一致或出现合同约定的解除情形，用人单位也可以提前解除劳务关系。但需确保解除行为的合法性和合理性，并按照合同约定或法律规定处理相关事宜。

四、实际操作建议

1. 审查合同条款：用人单位在解除劳务关系前，应仔细审查劳务合同条款，确保解除行为符合合同约定和法律规定。

2. 充分沟通：在解除劳务关系时，用人单位应与退休返聘人员进行充分沟通，解释解除原因，并尽量协商达成一致意见。

3. 法律支持：若解除劳务关系可能引发法律纠纷，用人单位应及时咨询专业律师（如我），以获取法律支持和指导。

总结来看，返聘退休人员的劳务合同到期后，用人单位在遵守合同约定和法律规定的前提下，可以解除劳务关系。但在实际操作过程中，用人单位应谨慎处理，确保解除行为的合法性和合理性，以避免可能的法律风险和纠纷。如果您在此过程中遇到任何法律问题，可以直接向我咨询。