结论：用人单位不让员工加班并不直接构成违法，但在特定情况下，如果此行为是为了迫使员工离职，则可能构成违法辞退。以下从不同角度为你详细分析：

一般情况下的合法性分析

根据《中华人民共和国劳动法》第四十一条，用人单位因生产经营需要，经与工会和劳动者协商后可延长工作时间，但有限制条件。法律并未强制要求用人单位必须安排员工加班，且用人单位在自主经营管理权限范围内有权决定是否安排加班。若用人单位基于合理原因减少加班安排，这通常被视为正常的企业管理行为，不直接违反法律规定。例如，工厂近期订单减少，生产任务不饱和，因此减少加班安排，这是合理的经营决策，不违法。

特殊情况下的违法性分析

1. 具有加班必要性的特定行业和岗位 在医疗、电力、交通等特定行业和岗位，加班可能是工作常态且具有必要性。若用人单位无正当理由拒绝安排这些岗位的员工加班，并试图以此迫使员工离职，可能构成违法解除劳动合同。比如，医院的急诊科医生，在突发公共卫生事件或患者激增时，加班是保障医疗服务的必要手段，如果医院无正当理由不让急诊科医生加班，导致医生收入降低而被迫离职，医院的行为可能违法。
2. 存在歧视或不公平对待 若用人单位仅针对特定员工或群体不安排加班，而其他人则可加班，且这种差异对待缺乏合理解释，可能涉嫌歧视或不公平对待，违反《劳动法》中的平等就业原则。例如，工厂里同一车间的员工，大部分人都能正常加班，只有个别员工被禁止加班，且工厂无法给出合理理由，这就可能构成不公平对待。
3. 结合其他行为判断逼迫离职意图 用人单位若采取减少工作任务、降低工资待遇、故意孤立员工等措施，配合不安排加班，使员工感到无法正常开展工作或被迫离职，这种行为组合可能构成违法辞退。比如，工厂不仅不让员工加班，还减少了员工的工作任务，导致员工工资大幅下降，同时同事对员工态度冷淡，让员工感到被孤立，最终被迫离职，这种情况下工厂的行为可能违法。

劳动者的权利与保护

1. 拒绝非法加班 根据《中华人民共和国劳动合同法》第三十一条，劳动者有权拒绝非法的加班要求，用人单位不得强迫或变相强迫劳动者加班。如果工厂强制要求你加班，你可以拒绝。
2. 解除劳动合同与经济补偿 若用人单位规章制度违反法律法规，损害劳动者权益，劳动者可依据《劳动合同法》第三十八条解除劳动合同，并要求经济补偿。经济补偿标准通常按工作年限计算，每满一年支付一个月工资。例如，你在工厂工作了3年，月工资为5000元，如果工厂因不让你加班等违法行为导致你解除劳动合同，你可以获得3×5000 = 15000元的经济补偿。
3. 维权途径 劳动者面对疑似违法辞退时，应收集证据（如通知、邮件、录音等），首先尝试向企业劳动争议调解委员会或基层人民调解组织申请调解。调解无果后，可向劳动争议仲裁委员会申请仲裁，对仲裁裁决不服的，可进一步向人民法院提起诉讼。

如果你遇到工厂不让你加班降低收入迫使你离职的情况，有问题可以直接向我咨询，我会为你提供专业的法律帮助。