单位是否有权解除退伍军人合同，需视具体情况而定，但必须严格遵守相关法律法规，确保程序合法且充分保障退役军人的合法权益。以下从多个角度进行分析：
一、合法解除合同的情形
协商一致解除：
- 用人单位与退伍军人经协商一致，可以解除劳动合同。例如，因企业经营战略调整需裁员，双方达成一致意见后，可解除合同。这种情况下，双方均享有解除合同的权利，且无需承担法律责任。
法定过错性解除：
- 根据《中华人民共和国劳动合同法》第三十九条，若退伍军人存在以下情形之一，用人单位可以解除劳动合同：
- 在试用期间被证明不符合录用条件；
- 严重违反用人单位的规章制度；
- 严重失职，营私舞弊，给用人单位造成重大损害；
- 同时与其他用人单位建立劳动关系，对完成本单位工作任务造成严重影响或拒不改正；
- 因劳动合同无效情形导致合同解除；
- 被依法追究刑事责任。
- 在这些情况下，用人单位有权解除合同，且无需支付经济补偿金。
无过失性解除：
- 当退伍军人患病或非因工负伤，医疗期满后不能从事原工作或另行安排的工作；或不能胜任工作，经培训或调岗后仍不能胜任时，用人单位提前三十日以书面形式通知或额外支付一个月工资后，可解除劳动合同。这种情况下，用人单位需支付经济补偿金。
经济性裁员：
- 用人单位因重整、生产经营严重困难等情况需裁减人员，且符合法定条件和程序时，可以裁减包括退伍军人在内的员工。但裁员时，应优先考虑留用退伍军人，特别是签订较长期限或无固定期限劳动合同的退伍军人，以及家庭有特殊困难的退伍军人。
二、不得解除合同的情形
退伍军人有下列情形之一的，用人单位不得解除劳动合同：
- 从事接触职业病危害作业未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间；
- 在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力；
- 患病或非因工负伤，在规定的医疗期内；
- 女职工在孕期、产期、哺乳期内；
- 在本单位连续工作满十五年，且距法定退休年龄不足五年；
- 法律、行政法规规定的其他特殊保护情形。
三、违法解除合同的后果
若用人单位违法解除退伍军人的劳动合同，退伍军人可通过以下途径维护合法权益：
- 与用人单位协商；
- 请工会或第三方调解；
- 向劳动争议仲裁委员会申请仲裁；
- 向人民法院提起诉讼。
若仲裁或诉讼结果认定用人单位违法解除合同，用人单位需支付赔偿金，赔偿金标准为经济补偿金的两倍。
四、经济补偿金的支付
若用人单位依法解除退伍军人的劳动合同（即非因退伍军人过错），需按《中华人民共和国劳动合同法》的规定支付经济补偿金。补偿标准如下：
- 按劳动者在本单位工作年限，每满一年支付一个月工资；
- 六个月以上不满一年的，按一年计算；不满六个月的，支付半个月工资；
- 若劳动者月工资高于当地职工月平均工资三倍，按三倍数额支付，最高不超过十二年。
总结与建议：
单位在解除退伍军人合同时，必须严格遵守相关法律法规，确保程序合法且充分保障退役军人的合法权益。在解除合同前，应仔细审查退伍军人的具体情况，避免违法解除合同带来的法律风险。若退伍军人对解除合同有异议，建议及时咨询专业律师，通过合法途径维护自身权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。