返聘退休人员是可以中途离职的，但具体情形需根据合同约定和法律规定来确定。以下是对此问题的详细分析：

一、合同约定角度

退休返聘人员与用人单位之间通常签订的是劳务合同，而非劳动合同。这份劳务合同中，双方可以明确约定离职的条件、程序以及可能产生的经济补偿等事项。如果合同中有明确规定离职的相关条款，那么双方应当按照合同约定来执行。例如，合同中可能规定了提前通知期限、离职手续等，退休返聘人员需按照这些规定来办理离职。

二、协商一致角度

在符合法律规定的情形下，退休返聘人员也可以与用人单位协商一致后离职。这种情况下，双方可以就离职时间、经济补偿等事项进行协商，并达成书面协议。协商一致离职是一种比较灵活且和谐的方式，有助于维护双方的良好关系。

三、法定情形角度

虽然退休返聘人员不属于劳动关系范畴，但某些法定情形下，他们也可能有权单方解除合同。例如，如果用人单位存在严重违反合同约定或法律法规的行为，如拖欠工资、未提供必要的工作条件等，退休返聘人员有权要求解除合同并离职。不过，在这种情况下，退休返聘人员需要提供充分的证据来证明用人单位的违法行为。

四、法律建议与风险防控

1. 完善合同条款：建议用人单位在签订劳务合同时，明确约定离职的相关条款，包括提前通知期限、离职手续、经济补偿等，以减少后续纠纷的可能性。
2. 保留书面证据：无论是协商一致离职还是单方解除合同，双方都应保留书面协议或证据材料，以证明离职的合法性和合理性。
3. 遵守法律法规：用人单位在解除与退休返聘人员的合同时，应遵守相关法律法规的规定，避免违法解除合同而引发的法律责任。

五、可能的法律后果

如果退休返聘人员未经合法程序擅自离职，可能会面临一定的法律后果。例如，用人单位可能要求其承担违约责任或赔偿损失等。因此，建议退休返聘人员在离职前务必与用人单位协商一致或按照合同约定来办理离职手续。

综上所述，返聘退休人员是可以中途离职的，但具体情形需根据合同约定和法律规定来确定。如果您有具体的法律问题或需要进一步的法律建议，请直接向我咨询。