结论：因职业危害被调岗，您是否可以不去，需根据具体情况判断。若调岗具有合理性且符合法律规定，您拒绝调岗可能面临不利后果；若调岗不合理或存在违法行为，您有权拒绝并寻求法律帮助。
分析：
调岗的合理性：
- 用人单位根据生产经营需要调整员工岗位，是其用工自主权的一部分。但这种调整必须合理，不能损害劳动者的基本权益。
- 如果调岗是因为原岗位存在职业危害，且新岗位能够避免或减少这种危害，同时工资待遇等条件不降低或有所提高，那么这种调岗通常被认为是合理的。
- 在您的情况下，如果公司能够证明调岗是为了您的健康考虑，且新岗位的工作条件、工资待遇等均不低于原岗位，那么您拒绝调岗可能缺乏合理依据。
拒绝调岗的后果：
- 如果您拒绝合理的调岗安排，且没有合理的理由（如健康原因、家庭原因等），用人单位可能会视为您旷工或违反公司规章制度。
- 根据公司规章制度和劳动法的相关规定，用人单位有权对旷工或违反规章制度的员工进行处罚，包括警告、罚款、甚至解除劳动合同。
- 在您的情况下，如果公司已经多次通知您到岗，而您仍然拒绝，且没有合理的理由，公司可能会以旷工为由解除与您的劳动合同，并且不支付经济补偿金。
调岗的违法性：
- 如果调岗存在违法行为，如将您调至存在严重职业危害且未采取有效防护措施的岗位，或者调岗后工资待遇等条件明显降低，那么您有权拒绝调岗。
- 在这种情况下，您可以向劳动监察部门投诉，或者申请劳动仲裁，要求用人单位恢复原岗位或支付相应的经济补偿。
建议：
- 与用人单位沟通：首先，您可以与用人单位沟通，了解调岗的具体原因和目的，以及新岗位的工作条件和工资待遇等。如果调岗是合理的，且您能够接受，那么最好配合用人单位的安排。
- 寻求法律帮助：如果调岗存在不合理或违法行为，您可以咨询专业律师（比如我），了解您的权利和义务，以及如何维护自己的合法权益。
- 保留证据：无论您是否接受调岗，都建议您保留相关证据，如调岗通知、沟通记录、工资单等，以备不时之需。
可能后果：
- 如果您拒绝合理的调岗安排，且没有合理的理由，用人单位可能会解除与您的劳动合同，并且不支付经济补偿金。
- 如果您能够证明调岗存在不合理或违法行为，并且您因此遭受了损失，您可以要求用人单位承担相应的赔偿责任。
总之，因职业危害被调岗时，您是否可以不去需根据具体情况判断。建议您在了解调岗的具体情况和法律规定后，再做出决定，并保留好相关证据以备不时之需。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。