若用人单位违法解除与退役军人的劳动合同，需按经济补偿标准的二倍支付赔偿金；若为合法解除，则需根据具体情况支付经济补偿或无需支付。具体分析如下：

一、违法解除劳动合同的情形及赔偿

1. 违法解除的定义：根据《中华人民共和国劳动合同法》的相关规定，用人单位解除劳动合同必须符合法定条件，并遵循法定程序。若用人单位无正当理由或违反法定程序解除与退役军人的劳动合同，即构成违法解除。
2. 赔偿标准：在违法解除的情况下，用人单位需按照经济补偿标准的二倍向劳动者支付赔偿金。经济补偿标准通常根据劳动者在用人单位的工作年限和月工资来确定，具体为：每满一年支付一个月工资的标准向劳动者支付；六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。因此，赔偿金即为上述经济补偿标准的两倍。

二、合法解除劳动合同的情形及经济补偿

1. 合法解除的定义：若用人单位因劳动者存在严重违反用人单位规章制度、严重失职造成重大损害、被依法追究刑事责任等法定情形，或因劳动合同订立时所依据的客观情况发生重大变化导致劳动合同无法履行，且经用人单位与劳动者协商未能就变更劳动合同内容达成协议等情况下解除劳动合同，则构成合法解除。
2. 经济补偿标准：在合法解除的情况下，用人单位需根据劳动者的工作年限和月工资支付经济补偿。具体标准与违法解除中的经济补偿标准相同，即每满一年支付一个月工资的标准向劳动者支付；六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。但需注意，若劳动者因自身原因（如主动辞职、严重违反规章制度等）导致劳动合同解除，则用人单位无需支付经济补偿。

三、特殊情形下的处理

1. 退役军人特殊保护：根据相关法律法规，退役军人在就业方面享有一定的特殊保护。若用人单位在解除与退役军人的劳动合同时存在歧视性行为或违反相关法律法规的规定，退役军人有权向相关部门投诉并寻求法律援助。
2. 协商解除与预告解除：在劳动合同解除过程中，双方应尽可能通过协商达成一致意见。若用人单位需提前解除劳动合同，应按照法律规定提前通知劳动者并支付相应的经济补偿。若劳动者因个人原因需提前解除劳动合同，也应按照劳动合同约定或法律规定提前通知用人单位。