结论前置：退伍军人作为劳动者，其劳动关系受《劳动合同法》等法律法规保护，单位解聘退伍军人需符合法定条件，否则可能构成违法解除。以下分情况说明：

1. 合法解聘的情形

根据《劳动合同法》第三十九条，用人单位在以下情形下可解除劳动合同（无需支付经济补偿）：

• 试用期不符合录用条件：若退伍军人在试用期被证明不符合岗位要求的，单位可解聘，但需提供明确考核标准及不符合的证据。
• 严重违反规章制度：如退伍军人存在旷工、盗窃、泄露商业秘密等行为，且单位规章制度已明确该行为为“严重违纪”并公示。
• 严重失职或营私舞弊：因退伍军人重大过失或故意行为给单位造成重大损失的（如玩忽职守导致安全事故）。
• 被依法追究刑事责任：如退伍军人因犯罪被判处刑罚的。

注意：单位需举证证明解聘事由的合法性，否则可能被认定为违法解除。

2. 需支付经济补偿的解聘情形

根据《劳动合同法》第四十条、第四十一条，以下情形单位可解除劳动合同，但需支付经济补偿（N倍月工资）：

• 劳动者患病或非因工负伤：医疗期满后不能从事原工作，也不能从事另行安排的工作的。
• 不能胜任工作：经培训或调岗后仍不能胜任的（需提供考核记录及培训/调岗证据）。
• 客观情况重大变化：如企业搬迁、业务撤销等导致合同无法履行的（需协商变更合同未果）。
• 经济性裁员：单位因经营困难需裁员20人以上或占职工总数10%以上的（需提前30日说明情况并听取工会意见）。

退伍军人特殊保护：若退伍军人同时符合《退役军人保障法》中“优先录用”或“特殊岗位安排”条件，单位解聘时需更谨慎，避免因歧视性解聘引发纠纷。

3. 违法解聘的后果

若单位无法定事由或未履行法定程序解聘退伍军人，可能面临：

• 继续履行合同：退伍军人可要求恢复劳动关系。
• 支付赔偿金：按经济补偿标准的2倍支付（即2N倍月工资）。
• 行政处罚：若涉及歧视性解聘，可能被劳动监察部门处罚。

4. 实务建议

• 退伍军人：保留劳动合同、工资记录、解聘通知等证据，若认为解聘违法，可在1年内申请劳动仲裁。
• 用人单位：解聘前需审核事由是否合法、程序是否合规（如通知工会、送达解聘决定等），避免因程序瑕疵导致败诉。

总结：单位解聘退伍军人并非绝对禁止，但必须严格遵守《劳动合同法》及《退役军人保障法》的相关规定。如有具体案件或细节需要进一步分析，可直接向我咨询。