结论：针对您擅自离岗未造成影响但老板要调岗且您不同意的情况，首先明确的是，调岗需要双方协商一致，您有权拒绝不合理的调岗安排。以下是从不同角度为您详细分析：
一、调岗的合法性分析
协商一致原则：
- 根据《劳动合同法》的相关规定，变更劳动合同（包括调岗）应当遵循协商一致的原则。这意味着，除非双方达成一致，否则用人单位不能单方面改变劳动者的工作岗位。
合理性审查：
- 即使用人单位提出调岗，也需要考虑调岗的合理性。合理性通常包括调岗是否基于生产经营的需要、调岗后劳动者的工资水平是否与原岗位相当、调岗是否对劳动者具有侮辱性或惩罚性等因素。
- 在您的情况下，如果擅自离岗并未造成实际影响，且调岗并非基于生产经营的必要，那么调岗可能缺乏合理性。
二、您的权利与应对策略
拒绝调岗：
- 您有权拒绝用人单位不合理的调岗安排。如果用人单位坚持调岗，您可以明确表达不同意，并保留相关证据（如书面通知、聊天记录等）。
沟通协商：
- 在拒绝调岗的同时，建议您与用人单位进行沟通协商，了解调岗的具体原因和背景，尝试寻求双方都能接受的解决方案。
寻求法律援助：
- 如果沟通协商无果，且用人单位采取不当措施（如降薪、解雇等），您可以及时寻求法律援助，通过劳动仲裁或诉讼等途径维护自己的合法权益。
三、可能面临的法律后果
如果用人单位违法调岗：
- 如果用人单位未经您同意单方面调岗，且调岗缺乏合理性，那么这种行为可能构成违法。您有权要求用人单位恢复原岗位或支付相应的经济补偿。
如果您拒绝合理调岗：
- 另一方面，如果用人单位的调岗是合理的（如基于生产经营的需要），且您无正当理由拒绝，那么用人单位可能有权依据规章制度对您进行处理（如警告、解雇等）。但这种情况在您描述的场景中较为少见，因为擅自离岗并未造成实际影响。
四、建议与总结
保留证据：
- 在整个过程中，建议您保留好所有与调岗相关的证据，包括书面通知、聊天记录、邮件等，以备不时之需。
及时咨询：
- 如果您对调岗的合法性或应对策略有疑问，建议及时咨询专业律师（即我本人，邓刚律师，专注于经济纠纷、劳动纠纷领域），以便获得更具体、更专业的法律建议。
理性应对：
- 面对调岗问题，建议您保持理性、冷静的态度，通过合法途径维护自己的权益，避免采取过激行为导致不必要的法律风险。
总之，调岗需要双方协商一致，您有权拒绝不合理的调岗安排。如果遇到问题，请及时与我沟通，我会根据您的具体情况提供更详细的法律建议。