针对您提出的问题“单位给我换部门我不去违法吗”，结论是：这取决于具体情况，不能简单地判断为违法或不违法。以下是从不同角度进行的分析：
劳动合同的约定：
- 如果您与单位签订的劳动合同中明确规定了您的工作岗位或部门，并且没有约定单位可以单方面调整工作岗位或部门的条款，那么单位未经您同意擅自调整您的部门可能构成违约。在这种情况下，您有权拒绝单位的调整要求，并且您的拒绝行为不构成违法。
- 如果劳动合同中有相关条款允许单位在特定情况下调整您的工作岗位或部门，并且这些情况已经发生，那么单位调整您的部门可能是合法的。但即便如此，单位也应遵循合理、公正的原则，并提前与您进行协商。
单位规章制度：
- 如果单位的规章制度中明确规定了员工在何种情况下需要接受部门调整，并且这些规章制度是合法有效的（即已经过民主程序制定、公示并告知员工），那么您可能需要遵守这些规定。但同样，单位在调整部门时也应遵循合理、公正的原则，并充分考虑您的意愿和实际情况。
法律法规的遵循：
- 根据《中华人民共和国劳动法》和《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者应当遵循合法、公平、平等自愿、协商一致的原则订立和履行劳动合同。如果单位未经您同意擅自调整您的部门，且这种调整违反了法律法规的强制性规定或公序良俗，那么这种调整是违法的。
实际操作的合理性：
- 除了上述法律因素外，还需要考虑单位调整部门的实际操作是否合理。例如，单位是否因为业务需要、组织架构调整等合理原因进行部门调整？调整后是否会对您的工作条件、薪酬待遇等产生不利影响？如果单位能够证明其调整部门的合理性，并且这种调整没有违反法律法规和劳动合同的约定，那么您可能需要接受这种调整。
建议：
- 在面对单位调整部门的情况时，您首先应查看劳动合同和单位规章制度中是否有相关规定。
- 如果单位未经您同意擅自调整部门，并且这种调整违反了法律法规或劳动合同的约定，您可以与单位进行协商，要求恢复原部门或寻求其他合理的解决方案。
- 如果协商无果，您可以向当地的劳动争议调解委员会申请调解，或者向劳动争议仲裁委员会申请仲裁，以维护自己的合法权益。
可能后果：
- 如果您拒绝单位的合法调整要求，并且没有合理的理由，单位可能会根据规章制度对您进行相应的处理，如警告、罚款、解除劳动合同等。
- 如果单位擅自调整您的部门违反了法律法规或劳动合同的约定，您有权要求单位承担相应的法律责任，如恢复原部门、支付赔偿金等。
总之，在面对单位调整部门的情况时，您应保持冷静、理性地分析问题，并根据自己的实际情况和法律法规的规定来做出决策。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。