结论：跨市调岗不去，单位解除劳动合同是否合法，需根据具体情况判断，主要包括调岗的合理性、劳动合同的约定以及单位解除劳动合同的合法性依据等因素。
详细分析：
调岗的合理性：
- 根据《劳动合同法》的相关规定，用人单位在调整劳动者工作岗位时，应当遵循合理性原则。这包括考虑调岗是否基于生产经营的需要、是否对劳动者的劳动报酬和其他劳动条件产生不利影响、是否对劳动者具有侮辱性和惩罚性等因素。
- 如果跨市调岗是基于用人单位生产经营的合理需要，且调岗后劳动者的劳动报酬、劳动条件等未发生不利变化，或者虽然有所变化但用人单位已经提供了必要的补偿和协助，那么调岗可能被视为合理。
劳动合同的约定：
- 劳动合同是用人单位和劳动者之间确立劳动关系、明确双方权利和义务的协议。如果劳动合同中明确约定了用人单位有权根据生产经营需要调整劳动者的工作岗位，包括跨市调岗，且劳动者在签订合同时已经知晓并同意这一条款，那么用人单位在符合约定条件的情况下进行调岗，劳动者应当遵守。
- 如果劳动合同中没有明确约定调岗条款，或者约定不明确，那么用人单位在调岗时需要与劳动者协商一致，否则可能构成违法调岗。
单位解除劳动合同的合法性依据：
- 如果劳动者拒绝跨市调岗，用人单位不能直接以此为由解除劳动合同。用人单位需要证明劳动者拒绝调岗的行为构成了严重违反用人单位规章制度或者劳动合同约定的情形，且该规章制度或劳动合同约定已经合法公示或告知劳动者。
- 如果用人单位无法证明上述情形，或者解除劳动合同的程序不符合法律规定（如未提前通知劳动者、未听取劳动者意见等），那么用人单位解除劳动合同的行为可能被视为违法。
法律建议：
- 对于劳动者：如果面临跨市调岗的情况，首先应当仔细审查劳动合同中的相关条款，了解自己的权利和义务。如果认为调岗不合理或违法，可以与用人单位进行协商，要求用人单位提供合理的调岗理由和补偿方案。如果协商无果，可以向劳动争议调解委员会申请调解，或者向劳动争议仲裁委员会申请仲裁，维护自己的合法权益。
- 对于用人单位：在进行跨市调岗时，应当确保调岗的合理性，并与劳动者进行充分沟通，争取劳动者的理解和同意。如果劳动者拒绝调岗，用人单位应当谨慎处理，避免直接解除劳动合同引发法律纠纷。如果确实需要解除劳动合同，应当确保解除的合法性和程序性，避免违法解除带来的法律风险。
可能后果：
- 如果用人单位违法解除劳动合同，劳动者有权要求用人单位继续履行劳动合同或者支付赔偿金。赔偿金的计算标准通常为劳动者在本单位工作的年限乘以月工资的两倍（但不超过当地职工月平均工资的三倍）。
- 如果劳动者因为拒绝调岗而被用人单位合法解除劳动合同，那么劳动者将失去工作，并可能无法获得赔偿金。但这种情况相对较少见，因为用人单位需要证明劳动者拒绝调岗的行为构成了严重违反规章制度或劳动合同约定的情形。