公司以员工不胜任工作为由辞退员工，这一行为是否合法，不能一概而论，需要分情况讨论：
合法辞退的情况：
- 前提条件：根据《劳动合同法》第四十条的规定，劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的，用人单位提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后，可以解除劳动合同。这意味着，公司要合法辞退不胜任工作的员工，必须满足两个前提：一是员工确实不胜任工作；二是公司已经对员工进行了培训或调整了工作岗位，但员工仍然不能胜任。
- 程序要求：公司在辞退员工前，需要提前三十日以书面形式通知员工本人，或者选择额外支付员工一个月工资作为代通知金。这是法律规定的程序要求，公司必须遵守。
- 举证责任：在劳动争议中，公司需要承担举证责任，证明员工确实不胜任工作，以及公司已经对员工进行了培训或调整了工作岗位。如果公司无法提供充分的证据，那么辞退行为可能被认定为违法。
违法辞退的情况：
- 未满足前提条件：如果公司没有证据证明员工不胜任工作，或者没有对员工进行培训或调整工作岗位就直接辞退，那么这一行为就是违法的。
- 未履行程序要求：即使公司满足了前提条件，但如果未提前三十日以书面形式通知员工本人，也未额外支付一个月工资作为代通知金，那么辞退行为同样违法。
- 违反其他法律规定：如果公司在辞退过程中存在其他违法行为，如歧视、报复等，那么辞退行为也是违法的。
法律后果与建议：
- 违法辞退的法律后果：如果公司违法辞退员工，员工有权要求公司继续履行劳动合同，或者要求公司支付赔偿金。赔偿金的计算标准通常是员工在公司工作每满一年支付两个月工资。
- 对公司的建议：为了避免违法辞退的风险，公司在辞退员工前应该进行充分的评估和准备，确保满足法律规定的条件和程序。同时，公司应该保留好相关证据，以备不时之需。
- 对员工的建议：如果员工认为自己被违法辞退，可以与公司进行协商，要求公司继续履行劳动合同或支付赔偿金。如果协商无果，员工可以向劳动争议仲裁委员会申请仲裁，维护自己的合法权益。
举例说明：
假设某公司以员工小张不胜任工作为由辞退他，但公司没有提供任何证据证明小张不胜任工作，也没有对小张进行培训或调整工作岗位。在这种情况下，公司的辞退行为就是违法的。小张有权要求公司继续履行劳动合同或支付赔偿金。
总之，公司以员工不胜任工作为由辞退员工是否合法，取决于是否满足法律规定的条件和程序。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。