工厂不能仅因工人效率低就直接辞退工人，这通常是不合法的。辞退工人必须有合法且合理的理由，并需遵循相应的法律程序。以下从多个角度进行详细分析：

法律规定与劳动权益保护

根据《中华人民共和国劳动合同法》的规定，用人单位辞退员工必须基于合法合理的理由，如员工在试用期内不符合录用条件、严重违反规章制度、严重失职或营私舞弊等。单纯的工作效率低（即工人做事慢）并不属于这些法定情形。员工工作效率低可能由多种因素导致，包括对工作内容的不熟悉、工作难度大或个人困境等。若工厂未提供适当的培训、指导或合理调整工作安排，直接辞退员工将构成对员工劳动权益的不合理侵犯。

特殊情况下可辞退的情形

1. 经过培训或调整仍不能胜任：

   • 若工人因能力问题导致工作效率低，工厂应首先进行培训或调整工作岗位。若经此程序后工人仍不能胜任，用人单位在提前三十日以书面形式通知或额外支付一个月工资后，可以解除劳动合同。例如，某工人负责操作复杂机器，但经多次培训和调整后，其操作速度和准确性仍远低于岗位要求，且无法适应其他工作，此时工厂可依法辞退。

2. 违反公司明确规定：

   • 若工厂有明确、合理且经过民主程序制定并公示的规章制度，规定了工作效率的具体要求和考核标准，且工人已知悉这些规定。当工人严重违反这些规章制度时，工厂可依据规章制度辞退工人。例如，某工人多次无故超过规定的完成时间，且经提醒不改，工厂可按规章制度辞退。但需注意，规章制度必须合法合理，且经过民主程序制定并公示，否则可能因程序瑕疵而被认定为无效。

工厂的责任与义务

工厂在处理工人工作效率问题时，应优先考虑通过培训、调岗等积极措施来解决问题，而非直接采取辞退这一极端手段。工厂应确保其行为符合法律法规，避免不必要的法律纠纷。在处理工人问题时，应遵循公平、公正的原则，尊重工人的劳动权益。

法律建议

对于工厂而言，若工人确实存在工作效率低的问题，建议采取以下措施：

1. 提供培训：为工人提供必要的技能培训，帮助其提升工作效率。
2. 调整工作岗位：根据工人的实际情况和工厂的需求，合理调整工作岗位，使其能够更好地发挥自身能力。
3. 制定合理的考核标准：制定明确、合理的工作效率考核标准，并确保工人知悉这些标准。
4. 遵循法律程序：在辞退工人之前，确保有合法合理的理由，并遵循相应的法律程序，如提前通知、支付经济补偿等。

若工厂未经合法程序直接辞退工人，工人有权向劳动仲裁机构申请仲裁，要求工厂承担违法解除劳动合同的法律责任，包括支付赔偿金等。因此，工厂在处理工人问题时务必谨慎行事，避免不必要的法律风险。

若您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询。