工厂不能仅因绩效低就单方面对员工进行降薪。以下是从不同角度对此问题的详细分析：

一、劳动合同的约定

1. 劳动合同的效力：根据《中华人民共和国劳动合同法》的相关规定，劳动合同是劳动者与用人单位确立劳动关系、明确双方权利和义务的协议。一旦双方签订了劳动合同，就应当按照合同的约定履行各自的义务。
2. 降薪的合法性：如果劳动合同中明确规定了员工的工资标准，且没有约定可以根据绩效调整工资，那么工厂单方面降薪就是违法的。因为降薪改变了劳动合同中的关键条款，需要双方协商一致才能进行。

二、绩效与工资的关系

1. 绩效管理的目的：绩效管理通常是为了激励员工提高工作效率和质量，从而实现企业的整体目标。然而，绩效管理并不等同于可以随意调整员工的工资。
2. 绩效与工资挂钩的条件：如果工厂希望将绩效与工资挂钩，应当在劳动合同中明确约定，并制定合理的绩效考核标准。同时，绩效考核过程应当公开、公平、公正，确保员工的权益不受侵害。

三、降薪的合法程序

1. 协商一致原则：根据《中华人民共和国劳动合同法》第三十五条，用人单位与劳动者协商一致，可以变更劳动合同约定的内容。变更劳动合同，应当采用书面形式。因此，如果工厂希望降薪，应当与员工进行协商，并达成一致意见。
2. 经济性裁员的例外：在某些特殊情况下，如企业面临严重经营困难等，可能需要进行经济性裁员或调整工资结构。但这种情况需要符合相关法律法规的规定，并经过严格的程序，如提前向工会或全体职工说明情况、听取意见、向劳动行政部门报告等。

四、法律后果

1. 违法降薪的责任：如果工厂未经员工同意单方面降薪，员工有权向劳动行政部门投诉或申请劳动仲裁。一旦查实，工厂可能需要支付经济补偿金、赔偿金等，并可能面临行政处罚。
2. 员工的维权途径：员工在遭遇违法降薪时，应当保留相关证据，如工资条、劳动合同、绩效考核记录等，并及时向劳动行政部门或劳动仲裁机构寻求帮助。

五、建议与措施

1. 加强沟通与协商：工厂在考虑降薪时，应当与员工进行充分的沟通和协商，了解员工的想法和需求，寻求双方都能接受的解决方案。
2. 完善绩效考核制度：如果工厂希望将绩效与工资挂钩，应当制定合理的绩效考核制度，并确保制度的公开、公平、公正。同时，应当定期对绩效考核制度进行评估和调整，以确保其有效性和合理性。

综上所述，工厂不能仅因绩效低就单方面对员工进行降薪。如果工厂希望调整工资结构或进行绩效考核，应当遵守相关法律法规的规定，并与员工进行充分的沟通和协商。如果有任何法律疑问或需要进一步的法律帮助，可以直接向我咨询。