结论：不加班就让正班下班是否违法，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：
从劳动合同和规章制度的角度
- 合法情况：如果劳动合同或公司的规章制度中明确规定了员工的工作时间、加班政策以及不加班的处理方式，并且这些规定不违反法律法规的强制性规定，那么公司按照这些规定执行，不加班就让正班下班，通常是合法的。例如，合同中明确约定了标准工作时间，且未强制要求加班，员工选择不加班，公司安排其正常下班，这符合合同约定。
- 违法情况：如果劳动合同或规章制度中未明确规定，或者规定违反了法律法规的强制性规定（如强制加班、不支付加班费等），那么公司以此为由让员工正班下班可能构成违法。比如，合同中虽未明确加班条款，但公司长期强制员工加班，并以不加班为由让员工正班下班，这可能侵犯了员工的合法权益。
从法律法规的角度
- 合法加班与非法加班：根据《劳动法》等相关法律法规，用人单位由于生产经营需要，经与工会和劳动者协商后可以延长工作时间，一般每日不得超过一小时；因特殊原因需要延长工作时间的，在保障劳动者身体健康的条件下延长工作时间每日不得超过三小时，但是每月不得超过三十六小时。如果公司未经协商或超过法定加班时限要求员工加班，员工有权拒绝，且公司不能因此让员工正班下班作为惩罚。
- 休息权保障：劳动者有休息的权利，用人单位应当保证劳动者每周至少休息一日。如果公司以不加班为由剥夺员工的正常休息时间或让员工正班下班影响其正常生活，这也可能构成违法。
从实际操作和公平性的角度
- 公平性考量：即使劳动合同或规章制度中有相关规定，公司也应考虑其执行的公平性和合理性。如果公司对所有员工一视同仁，且规定合理，那么不加班就让正班下班可能是可以接受的。但如果公司只针对部分员工或特定情况执行此规定，且缺乏合理理由，那么这可能引发员工的不满和争议。
- 沟通与协商：在实际操作中，公司应与员工进行充分的沟通和协商，了解员工不加班的原因和需求，并尽量寻求双方都能接受的解决方案。如果公司直接以不加班为由让员工正班下班，而不进行任何沟通和协商，这可能损害公司的形象和员工的忠诚度。
建议：
- 对于员工而言，如果遇到公司以不加班为由让正班下班的情况，应首先查看自己的劳动合同和公司的规章制度，了解相关规定和自己的权益。如果认为公司的行为违法或不合理，可以与公司进行沟通协商，或向劳动监察部门投诉举报。
- 对于公司而言，应制定合理合法的劳动合同和规章制度，明确加班政策和不加班的处理方式，并与员工进行充分的沟通和协商。在执行规定时，应确保公平性和合理性，避免引发员工的不满和争议。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。