结论：是否可以因拒绝加班而不去公益岗工作，需分情况讨论，主要取决于加班的合法性、劳动合同或单位规章制度的约定以及是否存在特殊情形。以下为具体分析：

1. 若加班符合法律规定且合同/制度有约定
   根据《劳动法》第四十一条，用人单位因生产经营需要安排加班，需与工会和劳动者协商一致，且每日不得超过1小时（特殊情况不超过3小时，每月不超过36小时）。若公益岗的加班符合上述条件，且劳动合同或单位规章制度中明确约定了加班义务（如“服从单位加班安排”），劳动者拒绝加班可能构成违约。单位可依据内部规定处理（如警告、扣减绩效等），但不得直接解除劳动合同（除非劳动者行为严重违反规章制度且造成重大损失）。

2. 若加班违反法律规定或合同/制度无约定
   若单位强制加班且未履行协商程序，或加班时长超过法定限制，劳动者有权拒绝。此时，单位若以“拒不加班”为由处罚劳动者，可能涉嫌违法。劳动者可向劳动监察部门投诉，或通过劳动仲裁主张权益（如要求撤销处罚、赔偿损失等）。

3. 特殊情形下的例外

   • 紧急任务：根据《劳动法》第四十二条，发生自然灾害、事故等需要紧急处理时，劳动者不得拒绝加班。但此类情形需由政府或相关部门认定，单位无权单方面扩大解释。
     
   • 劳动者自身原因：若劳动者因健康、家庭等特殊原因无法加班，建议提前与单位沟通并提供证明（如医院诊断书），单位应予以合理考虑。

建议：

• 优先与单位协商，明确加班的必要性、时长及补偿（如调休或加班费）；
  
• 若单位强制违法加班，保留相关证据（如加班通知、考勤记录）并依法维权；
  
• 公益岗通常具有社会公益属性，建议在合理范围内配合单位工作，同时维护自身合法权益。
  

如有进一步疑问，可直接向我咨询具体细节。