结论：公司是否可以以员工兼职辞退，需视具体情况而定，不能一概而论。以下从不同角度为您详细分析：
一、公司可以合法辞退兼职员工的情形
违反公司规章制度
- 情形描述：若公司在规章制度中明确规定禁止员工兼职，并且该规定已通过合法方式（如员工培训、员工手册签字确认等）告知员工，员工仍在外兼职，将被视为严重违反规章制度。
- 法律依据：根据《中华人民共和国劳动合同法》第三十九条第二项，劳动者严重违反用人单位的规章制度的，用人单位可以解除劳动合同。
- 举例说明：某公司规章制度明确规定员工不得兼职，员工小李在入职时已签字确认知晓该规定，但仍在业余时间兼职其他工作，公司发现后有权依据规章制度辞退小李。
对本职工作造成严重影响
- 情形描述：即使公司规章制度中未明确禁止兼职，但若员工的兼职行为对本职工作造成了严重影响（如频繁失误、无法完成工作任务、旷工等），公司同样有权辞退。
- 法律依据：根据《中华人民共和国劳动合同法》第三十九条第四项，劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的，用人单位可以解除劳动合同。
- 举例说明：员工小张在业余时间兼职其他工作，导致本职工作频繁出错，无法按时完成工作任务，公司多次提醒后仍无改善，公司有权辞退小张。
拒不改正兼职行为
- 情形描述：当公司发现员工有兼职行为并要求其停止，但员工拒不改正时，公司同样有权解除劳动合同。
- 法律依据：同样基于《中华人民共和国劳动合同法》第三十九条第四项的规定。
- 举例说明：公司发现员工小赵兼职后，要求其停止兼职行为，但小赵拒绝并继续兼职，公司有权辞退小赵。
二、公司不能辞退兼职员工的情形
规章制度无禁止且兼职无影响
- 情形描述：若公司规章制度中未明确禁止兼职，且员工的兼职行为并未对本职工作产生任何负面影响，公司则不能以兼职为由解除劳动合同。
- 法律依据：在此情况下，若公司强行解除，将构成违法解除，需按照《中华人民共和国劳动合同法》第四十八条和第八十七条的规定支付赔偿金。
- 举例说明：员工小陈在业余时间兼职与本职工作无关的工作，且未影响本职工作，公司无权以兼职为由辞退小陈。
非全日制用工的特殊情况
- 情形描述：对于非全日制用工的员工，他们可以与一个或多个用人单位订立劳动合同，只要不影响先订立的劳动合同的履行，公司就不能以兼职为由解除合同。
- 法律依据：根据《中华人民共和国劳动合同法》第六十九条和第七十一条规定，非全日制用工双方当事人可以订立口头协议，且任何一方都可以随时通知对方终止用工，终止用工时用人单位无需向劳动者支付经济补偿。
- 举例说明：员工小周是非全日制员工，在业余时间兼职其他工作，且未影响本职工作，公司无权以兼职为由辞退小周。
三、实际操作建议
- 完善规章制度：公司应将禁止或限制员工兼职的相关规定明确列入规章制度或员工手册中，并确保制度的合法性和有效性。
- 加强证据收集：在发现员工兼职行为时，公司应及时收集相关证据，如兼职合同、工作时间记录等，以备后续处理之需。
- 合理沟通与处理：在决定辞退前，公司应与员工进行充分沟通，了解其兼职原因和情况，并尝试通过调整工作安排或提供其他解决方案来避免直接辞退。
总结与建议：公司在处理员工兼职问题时，应综合考虑法律法规、公司规章制度以及员工的实际情况，做出合法、合理且人性化的决策。若您在此方面遇到具体问题或需要进一步的法律帮助，请直接向我咨询，我将根据您的具体情况提供详细的法律建议。