工厂不能随意给工人降薪，降薪行为的合法性主要取决于其行为是否符合《中华人民共和国劳动合同法》及相关法律法规的规定。具体来说：

1. 不合法的降薪情况：

   • 未经协商一致的单方面降薪：根据《劳动合同法》第三十五条，用人单位与劳动者应协商一致才能变更劳动合同内容，包括劳动报酬。若工厂未与员工协商，擅自降低工资，即构成单方面变更劳动合同，是违法的。
   • 缺乏合理理由的降薪：若工厂经营状况良好，却无故削减员工工资，这种行为侵害了劳动者获取劳动报酬的权利，同样是不合法的。
   • 违反最低工资标准：如果降薪后的工资低于当地最低工资标准，那么这种降薪行为也是违法的。

2. 合法的降薪情况：

   • 双方协商一致并书面变更：工厂与劳动者就降薪事宜进行充分沟通，双方自愿达成一致意见，并签订书面的劳动合同变更协议，此时降薪行为是合法有效的。
   • 基于客观情况发生重大变化的降薪：当出现不可抗力、企业迁移、被兼并等客观情况，导致原劳动合同无法履行，且经与劳动者协商后，可以变更劳动合同内容，包括降低工资。
   • 依据合法规章制度降薪：工厂的规章制度明确规定了在某些特定情形下（如员工绩效考核不达标）可以调整工资，且该规章制度的制定程序合法，那么依据该规章制度进行的降薪操作可能是合法的，但降薪幅度应合理。
   • 特定情形下的单方降薪：在劳动者不能胜任工作、违反工厂规章制度等特定情形下，工厂可以依据相关法律规定或规章制度对劳动者进行降职降薪处理，但需提供充分证据支持，且降薪后的工资不得低于当地最低工资标准。

综上所述，工厂在给工人降薪时，必须遵循相关法律法规的规定，确保降薪行为的合法性。如果工人认为工厂的降薪行为不合法，可以通过与工厂协商、向劳动监察部门投诉或申请劳动仲裁等方式来维护自己的权益。