退休返聘人员劳动协议未到期中途被单方面终止的，退休返聘人员可依据协议约定及法律规定，要求用人单位承担相应责任。具体分析如下：

1. 协议性质与法律适用
   退休返聘人员与用人单位签订的协议通常属于劳务合同，而非劳动合同。根据《最高人民法院关于审理劳动争议案件适用法律问题的解释（一）》第三十二条，退休人员与用人单位的争议按劳务合同关系处理，不适用《劳动合同法》中关于经济补偿、赔偿金等规定。但若协议中明确约定了违约责任条款（如违约金、赔偿范围），则双方需按约定履行。

2. 单方终止协议的合法性审查

   • 若用人单位无合法理由单方终止：需承担违约责任，赔偿范围以协议约定为准。若协议未约定，退休返聘人员可主张实际损失（如未支付的劳务报酬、因终止协议产生的直接费用等），但需举证证明损失与终止行为的因果关系。
     
   • 若退休返聘人员存在过错（如严重违反协议约定、失职造成损失等），用人单位可依据协议或《民法典》第五百六十三条解除合同，且无需赔偿。

3. 实务建议

   • 退休返聘人员：
     
     1. 立即固定证据（如协议文本、终止通知、工作记录、沟通记录等）；
        
     2. 核查协议中是否约定终止条件、违约责任及争议解决方式；
        
     3. 若用人单位拒绝协商，可向法院起诉，主张违约赔偿或继续履行协议（若协议仍有履行可能）。
        
   • 用人单位：
     
     1. 终止协议前需确保符合协议约定或法定解除条件；
        
     2. 避免以“退休人员不适用劳动法”为由随意终止，否则可能面临违约赔偿；
        
     3. 终止时建议书面通知并说明理由，降低纠纷风险。

4. 特殊情形提示
   若退休返聘人员因工作受伤，即使协议性质为劳务合同，用人单位仍可能需承担人身损害赔偿责任（依据《民法典》第一千一百九十二条）。此时赔偿范围包括医疗费、护理费、误工费等，与工伤赔偿标准类似，但需以过错为前提。

行动建议：建议双方先协商解决，协商不成可依据协议约定或实际损失向法院起诉。具体操作需结合协议条款及证据情况，如有疑问可进一步提供协议文本及终止细节，以便针对性分析。