结论：单位组织退休人员疗养，退休人员选择不去的话，单位是否给钱需视具体情况而定，但通常单位会根据相关政策给予一定的补偿或安排。
分析说明：
疗休养的性质：
- 疗休养是单位提供给员工（包括退休人员，如果单位政策包含）的一项福利待遇，旨在恢复与增进员工的身体健康。它并非工作职责的组成部分，而是额外的员工福利。
退休人员的选择权：
- 作为福利，退休人员有权自主选择是否参加疗休养。如果因个人原因或其他安排无法参加，可以向单位说明情况，这并不会因此被视为违反任何规定或纪律。
单位补偿政策：
- 一般情况：若退休人员选择不去疗养，单位通常会根据相关政策给予一定的补偿。具体的补偿方式可能因单位而异，有的单位可能会发放一定的补贴，有的单位可能会提供其他形式的福利作为替代。
- 特殊情况：如果单位政策或劳动合同中有明确规定，不参加疗休养将不享受任何补偿，那么退休人员就需要根据这一规定来决定是否参加。但这种情况相对较少，且通常会在政策或合同中明确说明。
与单位沟通的重要性：
- 在决定不参加疗休养之前，建议退休人员提前与单位充分沟通自己不参加的原因，以及询问单位对于不参加者的具体政策。这有助于避免不必要的误解或冲突，确保自己的权益得到妥善保障。
后续行动建议：
- 了解单位政策：首先，退休人员应该详细了解单位关于疗休养的政策，包括是否强制参加、不参加是否有补偿等。
- 与单位沟通：如果决定不参加疗休养，建议提前与单位沟通，说明自己的原因和想法，以便单位能够做出相应的安排。
- 保留证据：如果与单位就补偿问题产生争议，建议保留好相关证据，如单位政策文件、沟通记录等，以便在需要时维护自己的权益。
特殊场景提醒：
- 如果单位政策或劳动合同中明确规定了不参加疗休养将不享受任何补偿，且退休人员已经签署了相关协议或合同，那么退休人员就需要遵守这一规定。但即便如此，也建议退休人员与单位进行沟通，看是否有其他可能的解决方案。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。