结论：您不愿意签字换部门是可以的，但具体是否需要换部门以及不签字的后果，需根据您与厂里签订的劳动合同内容、相关法律法规以及实际情况来综合判断。以下是从不同角度的详细分析：
一、从劳动合同的角度分析
劳动合同的约定：
- 如果您与厂里签订的劳动合同中明确规定了工作岗位、工作内容以及调整工作岗位的条件和程序，那么厂里要求您换部门应当遵循这些约定。
- 若劳动合同中没有相关约定，或者约定不明确，那么厂里单方面要求您换部门可能缺乏合同依据。
您的权利：
- 根据《劳动合同法》的相关规定，劳动者有权拒绝用人单位违反劳动合同约定或者法律法规规定的调岗要求。
- 如果您认为厂里的调岗要求不合理或者违反了劳动合同的约定，您有权拒绝签字并表达自己的意见。
二、从法律法规的角度分析
劳动保护法规：
- 根据《劳动法》和《劳动合同法》的相关规定，用人单位应当保障劳动者的合法权益，不得强迫劳动者从事违反其意愿的工作。
- 如果体检听力不过关是厂里工作环境或者工作性质导致的，那么厂里应当采取相应的措施改善工作环境或者调整工作岗位，而不是单方面要求您换部门。
特殊保护：
- 如果您因听力问题属于职业病或者工伤范畴，那么根据相关法律法规，您享有相应的特殊保护权利，包括但不限于医疗期、工伤待遇等。
- 在这种情况下，厂里更不能单方面要求您换部门，而应当根据您的实际情况和法律法规的规定进行处理。
三、从实际操作的角度分析
沟通协商：
- 如果您不愿意换部门，建议您首先与厂里进行沟通协商，表达自己的意见和诉求。
- 在沟通过程中，您可以提出自己的合理理由和依据，如劳动合同的约定、法律法规的规定等。
寻求帮助：
- 如果沟通协商无果，您可以向当地的劳动监察部门或者劳动争议调解组织寻求帮助。
- 这些机构可以为您提供法律咨询、调解纠纷等服务，帮助您维护自己的合法权益。
法律途径：
- 如果必要，您还可以通过法律途径来维护自己的权益，如向劳动争议仲裁委员会申请仲裁或者向人民法院提起诉讼。
建议：在处理此类问题时，建议您保持冷静和理性，不要采取过激的行为或者言辞。同时，您也可以咨询我，获取更具体的法律建议和指导。