退伍军人免疫一切刑事处罚的说法并不准确，且单位在某些情况下可以辞退退伍军人。

首先，我们要明确的是，退伍军人并不享有“免疫一切刑事处罚”的特权。退伍军人作为公民，同样需要遵守国家的法律法规，如果触犯刑法，也会受到相应的刑事处罚。

接下来，我们讨论单位是否可以辞退退伍军人。这主要取决于退伍军人与单位之间的劳动合同关系，以及单位辞退员工的法定条件。

1. 单位可以辞退退伍军人的情形：

   • 如果退伍军人存在《中华人民共和国劳动合同法》第三十九条规定的情形，如严重违反用人单位的规章制度、严重失职等，单位可以依法辞退。
   • 如果退伍军人因患病或非因工负伤，医疗期满后不能从事原工作或另行安排的工作，或者不能胜任工作，经培训或调岗后仍不能胜任，单位在提前三十日以书面形式通知或额外支付一个月工资后，可以解除劳动合同。
   • 在经济性裁员的情况下，如果单位符合法定条件和程序，也可以裁减包括退役军人在内的员工。

2. 单位不得辞退退伍军人的情形：

   • 如果退伍军人从事接触职业病危害作业未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间，单位不得辞退。
   • 如果退伍军人在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力，单位也不得辞退。
   • 退伍军人患病或非因工负伤，在规定的医疗期内，单位同样不得辞退。

综上所述，单位在辞退退伍军人时，必须严格遵守《中华人民共和国劳动合同法》及相关法律法规，确保程序合法且充分保障退役军人的合法权益。非因法定情形，不得随意辞退退役军人。若需辞退，应依法进行，并支付相应的经济补偿金（若适用）。如果退伍军人认为自己的权益受到侵害，可以通过与单位协商、请工会或第三方调解、向劳动争议仲裁委员会申请仲裁、向人民法院提起诉讼等途径来维护自己的合法权益。