结论：在工厂上班大家每天加班唯独不让你加班，这一情况本身并不直接构成你可以走被迫离职的合法理由。但具体是否可以被迫离职，还需结合更多细节和法律规定来综合判断。

分析如下：

1. 加班的法律规定：

   • 根据《劳动法》及相关规定，加班是用人单位与劳动者协商一致的结果，且加班时间、加班费等都有明确的规定。用人单位不能强制劳动者加班，但也不能无理由地拒绝劳动者合理的加班请求（在符合法律规定的前提下）。

2. 唯独不让你加班的可能原因：

   • 用人单位可能基于生产需要、岗位特性或个人表现等因素，对不同员工的加班安排有所不同。如果这种安排是合理且非歧视性的，那么它并不违反法律规定。
   • 如果唯独不让你加班是出于报复、歧视或其他非法目的，那么这种行为可能构成违法，但你需要有充分的证据来证明这一点。

3. 被迫离职的合法条件：

   • 被迫离职通常指的是劳动者在面临用人单位的违法行为或严重侵害其合法权益的情况下，不得不选择离职。这些违法行为或侵害行为必须达到一定的严重程度，且劳动者已经尝试过其他合理的解决途径（如与用人单位协商、向劳动监察部门投诉等）但未能得到有效解决。
   • 仅仅因为唯独不让你加班，并不足以构成被迫离职的合法条件。除非你能证明这种安排是出于非法目的，且已经对你的合法权益造成了严重侵害。

4. 建议行动：

   • 与用人单位沟通：首先，你可以尝试与用人单位沟通，了解为什么不让你加班，并表达你的意愿和需求。如果沟通无果，你可以要求用人单位给出书面解释。
   • 收集证据：如果怀疑用人单位的行为存在非法目的或歧视性，你需要开始收集相关证据，如加班记录、同事证言、用人单位的书面通知等。
   • 寻求法律帮助：如果你认为自己的合法权益受到了侵害，且无法通过与用人单位的沟通解决问题，你可以考虑寻求法律帮助。作为专业律师，我可以根据你的具体情况，为你提供更详细的法律建议和帮助。

可能后果：

• 如果你在没有充分证据的情况下选择被迫离职，可能会面临失业风险，且可能无法获得相应的经济补偿或赔偿。
• 如果你能够证明用人单位的行为存在违法或侵权情况，并通过法律途径维护自己的权益，那么你可能能够获得相应的经济补偿或赔偿，甚至可能要求用人单位恢复你的工作或提供其他合理的解决方案。

总结：在面对唯独不让你加班的情况时，不要轻易选择被迫离职。首先尝试与用人单位沟通解决问题，并收集相关证据以备不时之需。如果问题无法得到解决，再考虑寻求法律帮助来维护自己的合法权益。如果你有任何进一步的疑问或需要法律帮助，请随时向我咨询。