用人单位不让兼职并不必然违法，关键看具体情况和劳动合同中的约定。
法律未绝对禁止兼职：
- 根据《劳动合同法》的相关规定，法律并未明确禁止劳动者同时与其他用人单位建立劳动关系，即兼职行为。但法律对兼职行为可能影响本职工作的情况有所规范，如劳动者因兼职对完成本单位的工作任务造成严重影响，或者经用人单位提出后拒不改正的，用人单位可以解除劳动合同。
劳动合同中的禁止兼职条款：
- 如果劳动合同中明确禁止兼职，且该条款是双方平等自愿、协商一致的结果，不违反法律法规强制性规定，那么此条款具有法律效力。用人单位有权根据自身生产经营需要，要求劳动者全身心投入工作，避免兼职可能带来的利益冲突和对本职工作的不利影响。
- 然而，若禁止兼职条款限制了劳动者的合理就业权利，或者存在明显不公平、不合理之处，如劳动者的兼职行为对本职工作并无任何影响，用人单位仍强行禁止，这种情况下可能被认定为违法。
兼职的合法性判断：
- 兼职是否违法，还需考虑是否违反竞业限制、是否侵犯商业秘密、是否从事非法业务，以及是否遵守特殊行业或岗位的兼职限制等因素。
- 在不影响本职工作、不违反相关法律法规和用人单位规定的前提下，兼职通常是合法的。
综上所述，用人单位不让兼职是否违法，需根据劳动合同中的具体约定、兼职行为对本职工作的影响、以及相关法律法规和用人单位的规定来综合判断。如果你在这方面有具体的法律问题或疑虑，可以直接向我咨询，我会根据你的具体情况给出更详细的法律建议。