单位以组织架构调整把员工调到其他部门，并不直接构成违法，但需符合相关法律规定和劳动合同约定。

首先，从法律角度来看，《劳动合同法》规定了用人单位有权根据经营需要调整员工的工作岗位，但这一权力的行使需受到一定限制，即不得违反法律、法规的强制性规定，也不得违反劳动合同的约定。因此，单位进行组织架构调整并据此调整员工岗位时，应确保该调整不违反相关法律法规，也不违背与员工签订的劳动合同中的相关条款。

其次，从实践角度来看，单位在调整员工岗位时，通常应考虑以下几个因素：

1. 调整的合理性：单位应确保岗位调整是基于合理的业务需要，而非出于恶意或打击报复等不正当目的。
2. 员工的同意：虽然单位有权调整岗位，但最好能与员工进行协商，并取得其同意。如果员工不同意调整，单位应进一步考虑是否可以通过其他方式解决，如提供培训、调整薪资等。
3. 劳动合同的变更：如果岗位调整涉及劳动合同中关键条款的变更（如工作地点、工作内容、薪资待遇等），单位应与员工重新签订或修改劳动合同，以明确双方的权利和义务。

最后，如果单位未经与员工协商或违反劳动合同约定擅自调整员工岗位，员工有权向劳动仲裁机构或法院提起诉讼，维护自己的合法权益。

综上所述，单位以组织架构调整把员工调到其他部门并不直接构成违法，但需确保该调整符合相关法律规定和劳动合同约定，并尽可能与员工进行协商和沟通。如果你在这方面遇到了具体问题或困惑，可以直接向我咨询，我会为你提供更详细的法律建议和帮助。