工厂随意降单价是否合法，主要取决于降薪的原因、程序以及劳动合同的具体约定。以下是对此问题的详细分析：
一、不合法的情况
违反劳动合同约定：
- 根据《中华人民共和国劳动合同法》第三十五条，用人单位与劳动者协商一致，可以变更劳动合同约定的内容，且应当采用书面形式。如果劳动合同中明确约定了单价（或计件工资的工价标准），工厂未经与劳动者协商，擅自降低单价，即属于单方面变更劳动合同关键内容，违反了法律规定，因此是不合法的。
损害劳动者权益：
- 如果降低单价导致劳动者的工资收入大幅减少，明显低于当地同行业、同岗位的合理水平，或者影响劳动者维持正常生活，这种降低单价的行为侵害了劳动者获得合理劳动报酬的权利。劳动者的劳动报酬是其生活的主要来源，降低单价若严重影响其生活水平，则构成对劳动者权益的损害，同样是不合法的。
未遵循协商一致原则：
- 根据《中华人民共和国劳动法》第十七条，订立和变更劳动合同，应当遵循平等自愿、协商一致的原则。工厂单方面降低单价，未与劳动者进行协商，违反了这一原则，因此是不合法的。
二、合法的情况
协商一致并书面变更：
- 如果工厂与劳动者就降低单价进行了充分沟通和协商，双方达成一致意见，并以书面形式对劳动合同中关于单价的条款进行了变更，那么这种降低单价的行为是合法有效的。这体现了劳动合同的自愿原则和协商一致原则。
有合理客观原因且符合法规：
- 在某些情况下，由于原材料价格大幅上涨、市场行情发生重大不利变化、订单减少等客观原因，工厂可能面临经营困难。为了维持企业的正常运营和避免大规模裁员，工厂在向劳动者说明情况并协商后，可以适当降低单价。但这种情况下，调整后的单价必须确保劳动者的工资不低于当地最低工资标准，且必须符合相关法律法规的规定。
未明确约定单价标准：
- 如果劳动合同中没有明确约定具体的单价标准，而是根据生产经营需要或市场情况进行调整，且调整后的单价仍然符合法律法规和当地最低工资标准的要求，那么工厂的这种行为在合法范围内。
三、劳动者应对措施
- 保留证据：劳动者应妥善保存工资单、考勤记录、劳动合同等相关证据材料，以便在维权时提供有力支持。
- 及时沟通：发现单价被降低后，劳动者应及时与工厂管理层沟通了解原因并要求合理解释。
- 依法维权：若协商无果，劳动者可以依据《劳动争议调解仲裁法》向当地劳动争议仲裁委员会提起仲裁申请；对仲裁结果不服的，还可以向法院提起诉讼。
总结来说，工厂随意降单价是否合法，取决于多种因素，包括劳动合同的约定、降薪的原因和程序等。如果工厂未经劳动者同意单方面降低单价，且不符合上述合法情况中的任何一种，那么这种行为是不合法的。劳动者在遇到这种情况时，应积极采取措施维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。