退伍军人与原单位解除劳动关系并非绝对不行，但可能受到一些特定因素或条件的限制，导致在某些情况下解除劳动关系存在困难或需要遵循特定程序。以下从多个角度分析可能的原因：

1. 劳动合同或相关协议的特殊约定：

   • 退伍军人在入职时，可能与原单位签订了包含特殊条款的劳动合同或相关协议，如服务期协议、保密协议等。这些协议中可能规定了退伍军人在一定期限内不得解除劳动关系，或者解除劳动关系需要满足特定条件（如支付违约金、完成特定任务等）。
   • 法律建议：退伍军人应仔细审查自己与原单位签订的劳动合同及相关协议，了解其中关于解除劳动关系的条款和条件。如果确实存在特殊约定，且自己希望解除劳动关系，应与原单位协商，看是否能够达成一致意见。

2. 退伍军人安置政策的限制：

   • 根据国家相关政策，退伍军人在安置到单位后，可能享有一定的特殊待遇和保障，如优先录用、岗位安排等。这些政策可能间接限制了退伍军人与原单位解除劳动关系的自由。
   • 法律建议：退伍军人应了解并熟悉国家关于退伍军人安置的相关政策，明确自己的权益和义务。如果认为政策限制了自己的合法权益，可以咨询相关部门或寻求法律援助。

3. 单位内部的规章制度或管理规定：

   • 有些单位可能制定了内部的规章制度或管理规定，对员工解除劳动关系进行了限制或约束。这些规定可能涉及退伍军人的特殊情况，如要求退伍军人在一定期限内不得离职等。
   • 法律建议：退伍军人应了解并遵守单位内部的规章制度和管理规定。如果认为这些规定不合理或侵犯了自己的合法权益，可以与单位协商修改或寻求法律途径解决。

4. 法律程序上的要求：

   • 根据《中华人民共和国劳动法》和《中华人民共和国劳动合同法》等相关法律法规，员工解除劳动关系需要遵循一定的法律程序，如提前通知、办理离职手续等。对于退伍军人来说，同样需要遵守这些法律程序。
   • 特殊情况：如果退伍军人在原单位工作期间发生了工伤等特殊情况，解除劳动关系可能还需要遵循额外的法律程序和规定，如进行工伤认定、享受工伤保险待遇等。
   • 法律建议：退伍军人在解除劳动关系前，应了解并遵守相关法律法规和程序要求。如果遇到特殊情况或不确定如何操作，可以咨询专业律师或相关部门以获取帮助。

总结与进一步行动建议：

• 退伍军人与原单位解除劳动关系并非绝对不行，但可能受到合同约定、政策限制、单位规定或法律程序等多种因素的影响。
• 如果退伍军人希望解除劳动关系，应首先仔细审查自己与原单位签订的劳动合同及相关协议，了解其中关于解除劳动关系的条款和条件。
• 同时，退伍军人还应了解并熟悉国家关于退伍军人安置的相关政策以及单位内部的规章制度和管理规定。
• 在解除劳动关系前，退伍军人应确保自己遵循了相关法律法规和程序要求，以避免不必要的法律纠纷和损失。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。