结论：单位调岗后劳动者拒绝到岗，单位是否有权解除劳动关系，主要取决于调岗行为的合法性和合理性，以及劳动者拒绝到岗的理由是否正当。在合法合理调岗且劳动者无正当理由拒绝的情况下，单位有权解除劳动合同；反之，若调岗不合法不合理，劳动者拒绝到岗属于正当维权，单位无权以此为由解除劳动合同。以下是对这一问题的详细分析：
一、单位合法合理调岗的情况
合法性：
- 单位的调岗行为必须基于生产经营需要、劳动者自身能力或其他合理因素，并且不得违反劳动合同的约定及法律法规。例如，因业务结构调整、部门撤销等客观原因进行的调岗，均属合法调岗范畴。
合理性：
- 调岗后的工作岗位应与原岗位在薪资、工作强度、工作地点等方面相当，或者对劳动者更为有利。具体来说，调岗不应导致劳动者薪资待遇明显降低，工作条件显著恶化，或工作地点发生不合理变动。
劳动者义务：
- 在合法合理调岗的情况下，劳动者有义务接受调岗并按时到岗。若劳动者无正当理由拒绝到岗，且经单位催告后仍不改正，单位有权依据合法有效的规章制度，以劳动者严重违反单位规章制度为由解除劳动合同，且无需支付经济补偿。
举例：假设某公司因业务调整，需要将某员工从销售部门调至市场部门，且调岗后的薪资、工作地点等条件均未发生不利变化，甚至有所提升。此时，员工有义务接受调岗并按时到岗。若员工无正当理由拒绝，公司有权解除劳动合同。
二、单位不合法不合理调岗的情况
不合法性：
- 调岗行为若带有侮辱性、惩罚性，或者大幅降低劳动者的薪资待遇，或违反了劳动合同的约定及法律法规，则视为不合法调岗。例如，将高薪岗位调至低薪岗位，或将熟练工调至完全不熟悉且无法胜任的岗位，均属不合法调岗。
不合理性：
- 调岗后的工作岗位若与原岗位在薪资、工作强度、工作地点等方面存在重大不利变化，且缺乏法律依据和合同约定支持，则视为不合理调岗。
劳动者权利：
- 在不合法不合理调岗的情况下，劳动者有权拒绝到岗，并可通过与单位沟通协商、向劳动监察部门投诉、申请劳动仲裁等方式来维护自己的合法权益。若单位强行以旷工为由解除劳动合同，则属于违法解除，劳动者有权要求单位继续履行劳动合同或支付赔偿金（赔偿金标准为经济补偿标准的二倍）。
举例：假设某公司无故将某员工从管理岗位调至清洁岗位，且薪资大幅降低。此时，员工有权拒绝调岗，并通过法律途径维护自己的权益。若公司强行解除劳动合同，员工有权要求公司支付赔偿金。
三、劳动者应对建议
判断调岗合法性与合理性：
- 劳动者在面对调岗问题时，应首先判断调岗的合法性和合理性，确保自己的权益不受侵害。
积极沟通协商：
- 如认为调岗不合法或不合理，劳动者应积极与单位进行沟通协商，寻求合理的解决方案。
法律途径维权：
- 若沟通协商无果，劳动者可向劳动监察部门投诉或申请劳动仲裁，通过法律途径来维护自己的合法权益。
总结：单位调岗后劳动者拒绝到岗是否构成解除劳动关系的合法理由，需根据调岗的合法性和合理性以及劳动者拒绝到岗的理由进行综合判断。劳动者应充分了解自己的权利和义务，在面临调岗问题时做出正确的应对。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。