关于您提出的“把工人随便更换厂址合法吗”这一问题，这实际上涉及到用人单位变更员工工作地点合法性的问题。以下是我为您提供的详细解答：

首先，我们需要明确的是，用人单位不能随意变更员工的工作地点。工作地点的变更属于对劳动合同的变更，根据《劳动合同法》的相关规定，用人单位与劳动者变更劳动合同的，双方应当协商一致并采用书面形式。这意味着，如果用人单位未经员工同意，擅自变更工作地点，可能构成违约行为。

从合法性角度来看，劳动合同中通常会明确约定员工的工作地点。如果合同中有这样的约定，那么用人单位在变更工作地点时，就必须遵循合同中的条款，与员工进行充分沟通并取得其同意。否则，用人单位的单方变更行为可能被视为违反劳动合同，员工有权依法解除劳动合同并要求用人单位支付经济补偿金。

此外，从合理性和公平性的角度考虑，变更后的工作地点也应当在合理范围内，不能给员工造成过度不便。例如，不应使员工的通勤时间大幅增加、交通成本显著提高等。同时，用人单位在变更工作地点时，也不能歧视特定员工群体，否则也可能引发法律风险。

当然，如果用人单位因客观情况发生重大变化等正当理由需要变更工作地点，那么它应该与员工进行充分沟通协商，并给予员工合理的选择权。如果员工不同意变更，用人单位可以根据法律规定解除劳动合同，但必须支付相应的经济补偿。

综上所述，用人单位不能随意变更员工的工作地点。在变更工作地点时，用人单位必须遵循合法、合理、公平的原则，与员工进行充分沟通并取得其同意。否则，用人单位可能面临法律风险和员工的不满。希望这个解答能够对您有所帮助。