与退休员工解除劳务合同，单位一般不需要赔偿，但具体情况需根据劳务合同的约定来判断。
劳务合同与劳动合同的区别：
- 退休员工与用人单位之间建立的是劳务关系，而非劳动关系。劳务关系不受《劳动合同法》中关于经济补偿的规定约束。
- 劳务关系的解除，主要依据双方劳务合同的约定。若合同中有关于解除时给予补偿的条款，则按约定执行；若合同未作约定，则通常不存在法定的经济补偿。
单位无需赔偿的情况：
- 在劳务合同未约定解除补偿的情况下，单位解除与退休员工的劳务合同，无需支付经济补偿。
- 退休员工已享受养老保险待遇，其与用人单位建立劳务关系的目的往往是基于自身劳动技能或经验继续发挥余热，不同于劳动关系中劳动者以获取劳动报酬维持生计等目的。
单位可能需要赔偿的情况：
- 若单位在解除劳务合同过程中存在过错，如未按约定提供工作条件、拖欠报酬等，导致退休人员解除合同，退休人员可依据过错责任要求单位承担相应赔偿责任。
- 赔偿范围需根据实际损失确定，包括但不限于因单位过错导致的直接经济损失、合理费用支出等。
综上所述，单位与退休员工解除劳务合同是否需要赔偿，关键在于劳务合同的具体约定以及单位在解除过程中是否存在过错。若合同未约定补偿且单位无过错，则单位无需赔偿；若合同有约定或单位存在过错，则单位需按约定或法律规定承担相应赔偿责任。如有具体法律问题或需要进一步咨询，请直接向我提问。