针对您提出的“与退休人员签订的劳务合同单位违法解除应如何赔偿”的问题，以下是我为您提供的详细解答：
首先，我们需要明确的是，退休人员与用人单位之间签订的是劳务合同，而非劳动合同，因此这一关系不受《劳动合同法》的调整，而是受《中华人民共和国民法典》等相关民事法律规范的约束。
一、关于劳务合同的解除
双方协商一致解除：
- 根据《中华人民共和国民法典》的相关规定，当事人协商一致可以解除合同。这意味着，如果退休人员与用人单位都同意解除劳务合同，他们可以通过书面或口头形式达成解除合意。但为了确保双方权益，建议签署书面协议，明确解除时间、工作交接及费用结算等事项，以避免后续纠纷。
基于法定情形的单方解除：
- 如果存在不可抗力致使不能实现合同目的（如自然灾害导致项目终止）、一方明确表示或以行为表明不履行主要债务（如长期旷工）、迟延履行主要债务且催告后未改正、违约行为致使合同目的无法实现（如严重失职造成重大损失）等法定情形，任何一方都有权单方解除合同。但在此情况下，需保留相关证据（如考勤记录、催告函件等），并通过书面形式通知对方解除。
任意解除权的行使：
- 如果劳务协议中约定了任意解除权条款，允许双方在提前通知后无条件解除合同，那么双方可以依据此条款操作。但若无此类约定，则需依据法定情形或协商解除。
二、关于违法解除的赔偿
无经济补偿金的法定要求：
- 由于劳务关系不受《劳动合同法》调整，因此辞退退休人员通常无需支付经济补偿金。但这并不意味着用人单位可以随意解除合同而不承担任何责任。
违约责任与损害赔偿：
- 如果劳务协议中约定了违约金（如服务期未满需支付费用）或存在损害事实（如因用人单位过错导致退休人员产生损失），那么用人单位在违法解除合同时，需要承担相应的违约责任或损害赔偿责任。例如，如果协议中约定了“提前解除合同需支付一个月报酬作为违约金”，或者用人单位未及时提供工作条件导致退休人员产生差旅费损失，用人单位都需要进行赔偿。
特殊约定的优先性：
- 如果劳务协议中明确约定了解除时需支付补偿金或其他费用，那么应优先按照协议中的约定执行。这是民事法律中“意思自治”原则的体现，即双方当事人的约定优先于法律规定。
三、关键注意事项
协议审查：在签订劳务合同时，退休人员应仔细阅读合同条款，明确解除条件、赔偿责任及争议解决方式等关键内容。
证据留存：在合同履行过程中，退休人员应保存好考勤记录、沟通邮件、协议文本等材料，以备在发生纠纷时支持自己的主张。
法律咨询：如果合同内容复杂或存在争议，建议退休人员咨询专业律师，以确保自己的权益得到合法保护。
书面通知：无论协商解除还是单方解除合同，都应以书面形式通知对方，并保留送达凭证，以证明自己已经履行了通知义务。
综上所述，与退休人员签订的劳务合同在违法解除时，赔偿问题主要依据劳务协议中的约定以及相关民事法律规范来确定。因此，在签订和履行劳务合同时，双方都应谨慎对待合同条款的约定和履行过程中的证据留存等问题。