结论：单位以职工未参加团建活动为由拒发工会福利，这一做法通常是不合理的，但具体还需结合单位规章制度、福利性质及法律规定综合判断。以下从不同角度展开分析：

1. 从工会福利的性质来看

工会福利是单位工会根据《工会法》及相关规定，为会员提供的福利性待遇，如节日慰问品、生日关怀等。其核心目的是关怀职工、增强凝聚力，而非作为对职工行为的奖惩手段。
法律依据：

• 《工会法》第三条规定，工会代表职工利益，依法维护职工合法权益。福利发放应体现普惠性，而非附加条件。
  
• 若单位将福利与团建参与挂钩，可能涉嫌变相克扣福利，违反工会福利的初衷。

2. 从单位规章制度的角度看

若单位在规章制度中明确规定“未参加团建活动将扣减工会福利”，需满足以下条件才可能合法：

• 程序合法：规章制度需经职工代表大会或全体职工讨论通过，并公示或告知职工；
  
• 内容合理：团建活动需与工作相关（如团队建设、业务培训），且扣减福利的比例需合理（如仅扣减部分福利，而非全部）；
  
• 不违反法律强制性规定：不得以福利为手段强迫职工参加非工作必需的活动。
  若单位未履行上述程序，或规章制度内容违法，则拒发福利的行为无效。

3. 从劳动合同和劳动法的角度看

工会福利与工资、奖金等劳动报酬性质不同，通常不属于劳动合同约定的必备内容。但若单位在劳动合同或集体合同中明确承诺发放福利，则构成合同义务，单位不得随意单方变更或拒绝履行。
例外情形：若职工因故意或重大过失未参加团建（如无正当理由拒绝），且单位规章制度合法有效，可能依据规章制度处理，但需避免过度惩罚。

4. 实务建议

• 对职工：
  
  1. 检查单位规章制度是否合法有效（如是否经民主程序制定、是否公示）；
     
  2. 若制度违法或未履行程序，可向单位工会或上级工会反映，要求纠正；
     
  3. 保留相关证据（如通知、规章制度文本、福利发放记录等），必要时申请劳动仲裁。
     
• 对单位：
  
  1. 避免将福利与非工作必需活动挂钩，可通过沟通、激励等方式提高参与度；
     
  2. 若需制定相关规则，确保程序合法、内容合理，并明确告知职工；
     
  3. 区分福利与奖惩，福利应体现关怀，奖惩需依据《劳动合同法》等规定。

总结：单位拒发工会福利的合理性需结合具体情形判断，但多数情况下缺乏法律依据。若您遇到此类问题，可进一步提供单位规章制度、通知内容等细节，我将为您分析具体风险及应对方案。