关于您提出的“单位疗休养可以不去吗”这一问题，我可以明确地告诉您，员工是有权选择不参加单位组织的疗休养活动的。这是基于以下几点考虑：
首先，疗休养是单位提供给员工的一项福利待遇，它的主要目的是恢复与增进员工的身体健康，属于职工福利的范畴。它并非工作职责的组成部分，而是额外的员工福利，因此员工有权根据自己的实际情况和需求来决定是否接受这项福利。
其次，从法律层面来看，目前并没有法律条款强制要求员工必须参加单位组织的疗休养活动。员工在不违反法律法规以及劳动合同约定的前提下，有权自主决定是否参加。这意味着，如果您因个人原因或其他安排无法参加疗休养，您完全有权向单位说明情况，并且这并不会被视为旷工或违反劳动纪律。
然而，在做出不参加疗休养的决定之前，我建议您考虑以下几点：
与单位沟通：提前与单位充分沟通您不参加的原因，这有助于避免不必要的误解或冲突，同时也有助于维护您与领导和同事的关系，以及您今后在单位的发展。
了解单位政策：虽然法律没有强制要求单位对不参加疗休养的员工给予补偿，但部分单位可能会根据自身实际情况和员工福利政策，制定关于疗休养的相关规定。这些规定可能包括员工不参加疗休养时的处理方式，如是否给予补偿、补偿的标准等。因此，在做出决定之前，了解您所在单位的疗休养政策和相关规定是非常重要的。
评估后续影响：您还需要考虑不参加此次疗休养是否会对未来类似福利的享受产生不利影响。比如，是否会影响您后续其他福利待遇的评定或享受等。这有助于您做出更加明智的决定。
综上所述，单位疗休养是员工的一项可选福利，而非强制性义务。在做出选择时，您应充分考虑自己的实际情况和需求，并与单位进行有效沟通，以确保自己的权益得到妥善保障。如果您对单位的疗休养政策有任何疑问或需要进一步的解释，我建议您与单位的人力资源部门或相关负责人进行沟通，以获取更详细和准确的信息。