结论：调岗到通勤来回4个小时的地方，是否违法不能一概而论，需要结合具体情况来判断。
分析角度一：劳动合同的约定
若劳动合同中有明确约定工作地点：
- 根据《劳动合同法》的相关规定，劳动合同应当明确约定工作内容和工作地点等条款。如果劳动合同中已经明确约定了工作地点，且调岗后的地点与原约定地点存在显著差异（如通勤时间大幅增加），那么用人单位在未经劳动者同意的情况下单方面调岗，可能构成违约。
- 在此情况下，劳动者有权拒绝调岗，并可以要求用人单位按照原劳动合同的约定履行义务。如果用人单位坚持调岗，劳动者可以向劳动仲裁机构申请仲裁，维护自己的合法权益。
若劳动合同中未明确约定工作地点或约定较为模糊：
- 如果劳动合同中未明确约定工作地点，或者约定的工作地点范围较为宽泛（如“某市范围内”），那么用人单位在合理范围内调整工作地点，可能不构成违约。
- 但即便如此，用人单位在调岗时也应考虑劳动者的实际情况，如通勤时间、家庭状况等，避免给劳动者带来过大的负担。如果调岗后的通勤时间显著增加，且用人单位未能提供合理的解决方案（如提供交通补贴、调整工作时间等），劳动者仍可以提出异议。
分析角度二：调岗的合理性和必要性
调岗的合理性：
- 用人单位在调岗时，应确保调岗具有合理性，即调岗应基于生产经营的需要，且调岗后的工作内容、薪酬待遇等应与原岗位相当或有所提高。
- 如果调岗仅是为了给劳动者增加负担，或者调岗后的工作内容、薪酬待遇等明显低于原岗位，那么调岗可能缺乏合理性，劳动者有权拒绝。
调岗的必要性：
- 用人单位在调岗时，还应证明调岗具有必要性，即调岗是出于生产经营的客观需要，且无法通过其他方式（如招聘新员工、调整工作流程等）解决。
- 如果用人单位无法证明调岗的必要性，或者调岗并非出于生产经营的客观需要，那么调岗可能构成违法，劳动者可以提出异议并寻求法律救济。
建议：
- 对于劳动者：如果面临调岗到通勤来回4个小时的地方的情况，首先应查看劳动合同中关于工作地点的约定。如果约定明确且调岗违反约定，可以拒绝调岗并寻求法律救济。如果约定不明确或模糊，可以与用人单位协商，要求提供合理的解决方案（如交通补贴、调整工作时间等）。如果协商无果，可以向劳动仲裁机构申请仲裁。
- 对于用人单位：在调岗时，应充分考虑劳动者的实际情况和合法权益，确保调岗具有合理性和必要性。同时，应与劳动者进行充分沟通，解释调岗的原因和目的，争取劳动者的理解和支持。如果调岗确实会给劳动者带来较大负担，应提供合理的解决方案或补偿措施。
可能后果：
- 如果用人单位违法调岗，劳动者有权拒绝并要求用人单位按照原劳动合同的约定履行义务。如果用人单位坚持调岗并给劳动者造成损失的，劳动者可以要求用人单位承担赔偿责任。
- 如果劳动者拒绝调岗且未与用人单位达成一致意见的，用人单位可能依据规章制度对劳动者进行处理（如警告、记过、解除劳动合同等）。但在此情况下，用人单位应确保规章制度的合法性和合理性，并遵循法定程序进行处理。