结论前置：单位以听力受损要求工人换岗是否有依据，需分情况讨论，主要取决于听力受损是否构成职业病或工伤，以及是否影响原岗位工作。以下从不同角度进行分析：
一、听力受损构成职业病或工伤的情况
法律依据：
- 根据《工伤保险条例》第十四条，职工患职业病的，应当认定为工伤。若听力受损被鉴定为职业病，则属于工伤范畴。
- 《职业病防治法》第五十五条规定，用人单位应当保障职业病病人依法享受国家规定的职业病待遇，包括安排职业病病人进行治疗、康复和定期检查，对不适宜继续从事原工作的职业病病人，应当调离原岗位，并妥善安置。
分析说明：
- 若工人的听力受损被鉴定为职业病，单位有权根据法律规定要求其换岗，以保障工人的健康权益，并避免进一步损害。
- 在此情况下，单位的要求具有明确的法律依据，工人应配合单位的安排。
二、听力受损不构成职业病或工伤，但影响原岗位工作的情况
法律依据：
- 《劳动合同法》第三十五条规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容，包括工作岗位。
- 同时，根据《劳动法》的相关规定，用人单位应当根据劳动者的身体状况，合理安排工作岗位，确保劳动者的身体健康。
分析说明：
- 若工人的听力受损虽不构成职业病或工伤，但确实影响了其原岗位的工作，单位可以与工人协商换岗。
- 在此情况下，单位的要求需基于与工人的协商一致，且应确保换岗后的工作条件、薪酬待遇等不低于原岗位，以维护工人的合法权益。
三、听力受损既不构成职业病或工伤，也不影响原岗位工作的情况
- 分析说明：
- 若工人的听力受损既不构成职业病或工伤，也不影响其原岗位的工作，单位则无权单方面要求工人换岗。
- 在此情况下，单位应尊重工人的意愿，继续履行原劳动合同，不得擅自变更工作岗位。
四、特殊情况：单位未进行职业病鉴定或工伤认定
- 分析说明：
- 若单位未对工人的听力受损进行职业病鉴定或工伤认定，而直接要求换岗，工人有权拒绝。
- 工人可以要求单位按照法定程序进行鉴定或认定，以明确听力受损的性质和程度，再根据鉴定结果协商处理换岗事宜。
建议与总结：
- 对于工人而言，若单位以听力受损为由要求换岗，应首先了解自己的听力受损是否构成职业病或工伤，以及是否影响原岗位工作。
- 若构成职业病或工伤，或确实影响原岗位工作，应与单位协商换岗事宜，并确保换岗后的权益得到保障。
- 若不构成职业病或工伤，且不影响原岗位工作，则有权拒绝单位的换岗要求。
- 在任何情况下，都建议工人与单位进行充分沟通，并保留好相关证据，以维护自己的合法权益。如有需要，可以直接向我咨询相关法律问题。