公司故意不让加班出差一般不违法。具体分析如下：

首先，从法律角度来看，公司有权根据自身的经营需要和员工的工作能力来安排工作任务，包括加班和出差。如果公司出于合理的经营考虑，决定不让某位员工加班或出差，这通常并不构成违法行为。

其次，员工加班应当是自愿的，并且在法定工作时间外继续工作应当获得相应的加班费作为补偿。然而，如果公司并未要求员工加班，而是员工自己希望加班以获得更多收入，那么公司不让加班并不违反法律规定。

此外，对于出差的安排，公司也有权根据业务需求和员工的具体情况来决定。如果公司认为某位员工不适合出差或者出差任务可以由其他员工完成，那么不让该员工出差也是合理的。

值得注意的是，如果公司故意不让员工加班或出差是出于歧视、报复或其他不正当目的，那么这种行为可能构成违法行为。员工可以依法向劳动监察部门投诉或寻求法律援助。

综上所述，公司故意不让加班出差一般不违法，但具体情况还需根据公司的经营需要、员工的工作能力以及双方之间的劳动合同约定等因素来综合判断。如果你在这方面有具体的法律问题或疑虑，可以直接向我咨询。