退休返聘人员被迫离职的赔偿问题，需根据返聘协议性质及离职原因分情况讨论，具体如下：

1. 若返聘协议明确约定“被迫离职”的赔偿条款
   退休返聘属于劳务关系，不受《劳动合同法》保护，但双方可通过协议约定权利义务。若协议中明确约定“因单位原因导致离职需支付违约金/赔偿金”，或约定了服务期及违约责任，则单位需按协议约定赔偿。
   例如：协议约定“若单位单方解除返聘关系，需支付相当于3个月劳务报酬的赔偿金”，则单位应履行该约定。

2. 若返聘协议未约定赔偿，但单位存在过错
   若单位存在欺诈、胁迫、未提供约定劳务条件等过错行为导致离职，返聘人员可主张实际损失赔偿（如因离职产生的医疗费、交通费等直接损失），但需举证证明损失与单位过错存在因果关系。
   例如：单位承诺提供办公设备但未履行，导致返聘人员无法工作而离职，可要求单位赔偿因另行购置设备产生的费用。

3. 若返聘人员自身原因导致离职（如违反协议约定）
   若返聘人员因自身过错（如旷工、泄露商业秘密等）被单位解除返聘关系，且协议未约定单位需支付赔偿，则单位无需赔偿；若协议约定了返聘人员违约责任（如支付违约金），则返聘人员需按约定承担责任。

4. 特殊情形：单位未支付劳务报酬或未提供劳动保护
   若单位拖欠劳务报酬、未提供约定劳动保护条件，返聘人员可依据《民法典》第577条要求单位继续履行、赔偿损失，或直接解除返聘关系并主张赔偿。
   例如：单位长期拖欠劳务费，返聘人员可要求支付拖欠费用及逾期利息。

行动建议：

• 立即收集返聘协议、工作记录、沟通记录等证据；
  
• 与单位协商赔偿方案，明确赔偿金额及支付方式；
  
• 若协商无果，可向法院起诉，主张实际损失赔偿（需提供损失证据）。
  

如有进一步细节（如返聘协议内容、离职原因等），可直接向我咨询，我会结合具体情况为您分析。