结论：公司裁人时称兼职违法这一说法并不准确，是否违法需根据具体情况判断，不能一概而论。以下从不同角度进行分析：

一、兼职本身的合法性

1. 一般情况下的合法性：

   • 在我国，劳动者在不影响本职工作且不违反与用人单位签订的劳动合同的前提下，利用业余时间从事兼职工作，通常是合法的。这种兼职行为并不违反法律法规的强制性规定。

2. 特殊情况下的限制：

   • 如果劳动者与用人单位签订的劳动合同中明确约定了禁止兼职的条款，或者兼职行为可能对本职工作产生严重影响，那么劳动者从事兼职工作可能会构成违约或违反公司规章制度，此时用人单位有权依据合同或规章制度进行处理。

二、公司裁人的合法性

1. 合法裁人的情形：

   • 根据《劳动合同法》的相关规定，用人单位在符合法定情形（如劳动者严重违反公司规章制度、不能胜任工作等）下，可以解除与劳动者的劳动合同。如果劳动者因兼职行为严重违反了公司规章制度，且该规章制度是合法有效的，那么公司裁人可能是合法的。

2. 违法裁人的情形：

   • 如果公司裁人并非基于劳动者兼职行为的违法性，而是出于其他非法目的（如歧视、报复等），或者裁人程序不符合法律规定（如未提前通知、未支付经济补偿等），那么公司的裁人行为就是违法的。

三、针对公司称兼职违法的具体分析

1. 如果兼职行为本身合法：

   • 公司称兼职违法是没有法律依据的。此时，如果公司以此为由裁人，劳动者可以依法维护自己的合法权益，如向劳动仲裁机构申请仲裁或向法院提起诉讼。

2. 如果兼职行为违反合同或规章制度：

   • 如果劳动者确实违反了与用人单位签订的劳动合同或公司规章制度中的禁止兼职条款，那么公司有权依据合同或规章制度进行处理。但即便如此，公司也需要确保裁人程序合法，并支付相应的经济补偿（如果符合法定情形）。

四、建议

• 对于劳动者：在从事兼职工作前，应仔细阅读与用人单位签订的劳动合同和公司规章制度，确保自己的兼职行为不会违反相关规定。如果遇到公司非法裁人或侵犯自己合法权益的情况，应及时向劳动仲裁机构申请仲裁或向法院提起诉讼。
• 对于用人单位：在制定公司规章制度时，应明确禁止兼职的具体情形和后果，并确保规章制度的内容合法有效。在裁人时，应严格遵守法律法规和公司规章制度的规定，确保裁人程序合法合规。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。