工厂不可以随便给员工换工位，这一行为必须遵循相关法律法规和劳动合同的约定。以下是对此问题的详细解答：
首先，我们需要明确的是，变更工作岗位属于变更劳动合同的重要内容。根据《中华人民共和国劳动合同法》第三十五条的规定，用人单位与劳动者协商一致，才可以变更劳动合同约定的内容，并且这种变更应当采用书面形式。工作岗位作为劳动合同中的关键条款，其变更自然也需要双方协商一致，并签订书面的变更协议。
接下来，我们分析企业单方面变更岗位的限制条件：
法律规定的情形：在特定情况下，如员工因工负伤或因病不能从事原工作，或者女职工在孕期不能适应原劳动等，企业可以根据相关法律规定和实际情况，合理调整员工的工作岗位。但这种情况是有限制的，并且需要遵循严格的程序和条件。
基于企业经营需要：如果企业因生产经营需要调整员工工作岗位，这种调整必须具有充分的合理性。这包括调整是为了应对市场变化、企业战略转型等客观原因；新岗位与原岗位应具有一定的关联性，确保员工能够胜任；同时，调整不应对员工的劳动报酬、工作环境等造成明显的不利影响。
劳动合同或规章制度约定：如果劳动合同中有明确约定，或者用人单位的规章制度中有相关规定（且这些规定不违反法律法规的强制性规定），并且岗位的调整未对劳动者的劳动报酬及其他劳动条件作出不利变更，那么企业也可以依据这些约定或规定来调整员工的工作岗位。
劳动者不能胜任工作或客观情况发生重大变化：如果劳动者不能胜任原来的工作，或者因客观情况发生重大变化导致原合同无法继续履行，且双方无法就变更劳动合同达成一致，那么企业在提前通知并支付经济补偿后，可以解除劳动合同。但在此之前，企业不能单方面随意调整员工的工作岗位。
如果企业随意调岗，可能会面临以下法律后果：
员工有权拒绝：如果企业未经协商一致且不具有合理理由，单方面强制变更员工工作岗位，员工有权拒绝到新岗位工作，并要求按照原劳动合同继续履行。
员工可解除劳动合同并获得补偿：企业随意调岗可能被视为未按照劳动合同约定提供劳动条件。根据《劳动合同法》的相关规定，劳动者在此情况下可以解除劳动合同，并有权要求企业支付经济补偿。
面临劳动仲裁或诉讼风险：如果员工认为企业的调岗行为违法，可以向劳动争议仲裁机构申请仲裁或向人民法院提起诉讼。一旦企业的调岗行为被认定为违法，企业可能需要承担恢复员工原工作岗位、支付工资差额、支付经济补偿等法律责任。
因此，工厂在给员工调换工作岗位时，必须严格遵守相关法律法规和劳动合同的约定，确保调整是合法、合理且必要的。同时，员工也应了解自己的权益和义务，在遇到不合理的岗位调整时，及时通过法律途径维护自己的合法权益。