公司不能仅凭有人说你工作慢就直接辞退你，这通常是不合法的。辞退员工必须有合法且合理的理由，并需遵循相应的法律程序。以下从多个角度为你详细分析：

法律规定与劳动权益保护

根据《中华人民共和国劳动合同法》的规定，用人单位辞退员工必须基于合法合理的理由，如员工在试用期内不符合录用条件、严重违反规章制度、严重失职或营私舞弊等。单纯的工作效率低（即工作慢）并不属于这些法定情形。员工工作效率低可能由多种因素导致，包括对工作内容的不熟悉、工作难度大或个人困境等。若公司未提供适当的培训、指导或合理调整工作安排，直接辞退员工将构成对员工劳动权益的不合理侵犯。

特殊情况下可辞退的情形

1. 经过培训或调整仍不能胜任：

   • 若员工因能力问题导致工作效率低，公司应首先进行培训或调整工作岗位。若经此程序后员工仍不能胜任，用人单位在提前三十日以书面形式通知或额外支付一个月工资后，可以解除劳动合同。例如，数据录入员工经多次培训和调整后，其速度和准确性仍远低于岗位要求，且无法适应其他工作，此时公司可依法辞退。

2. 违反公司明确规定：

   • 若公司有明确、合理且经过民主程序制定并公示的规章制度，规定了工作效率的具体要求和考核标准，且员工已知悉这些规定。当员工严重违反这些规章制度时，公司可依据规章制度辞退员工。例如，客服人员多次无故超过规定的响应时间，且经提醒不改，公司可按规章制度辞退。但需要注意的是，这种辞退必须基于员工确实严重违反了规章制度，且规章制度本身合法合理。

公司的责任与义务

公司在处理员工工作效率问题时，应优先考虑通过培训、调岗等积极措施来解决问题，而非直接采取辞退这一极端手段。公司应确保其行为符合法律法规，避免不必要的法律纠纷。在处理员工问题时，应遵循公平、公正的原则，尊重员工的劳动权益。

可能的法律后果

如果公司仅凭有人说你工作慢就辞退你，且没有合法合理的理由和相应的法律程序，那么公司的行为可能构成违法解除劳动合同。根据《劳动合同法》的规定，公司可能需要支付你经济补偿金或赔偿金。经济补偿金的标准通常按照你在公司的工作年限和月工资来计算，而赔偿金则是经济补偿金的两倍。

总结与建议：公司不能仅凭有人说你工作慢就直接辞退你。在辞退员工之前，公司必须确保有合法合理的理由，并遵循相应的法律程序。如果你遇到了这种情况，建议你先与公司沟通，了解公司辞退你的具体理由和依据。如果公司无法提供合法合理的理由或未遵循法律程序，你可以向劳动仲裁机构申请仲裁，维护自己的合法权益。如果你有任何法律问题或需要进一步的法律帮助，可以直接向我咨询。