若工厂要求换宿舍而你不想换，首先明确的是，你有权表达自己的意愿，但具体能否不换，需结合实际情况和法律规定来综合判断。以下是从不同角度为你进行的分析：
一、劳动合同与规章制度的角度
查看劳动合同：首先，你需要查看自己与工厂签订的劳动合同中，是否有关于宿舍分配或调整的条款。如果合同中明确规定了宿舍的分配方式或调整条件，而工厂的要求并不符合这些规定，那么你可以依据合同来维护自己的权益。
了解规章制度：其次，了解工厂的规章制度。如果工厂有明确的宿舍管理规定，并且这些规定是合法合理的，那么你需要遵守。但如果规定本身存在问题，或者工厂在执行过程中存在不当行为，你可以提出异议。
二、沟通协商的角度
与工厂沟通：如果你不想换宿舍，最直接的方式是与工厂的相关部门或负责人进行沟通。表达你的意愿和理由，看是否能够达成共识。在沟通过程中，保持冷静和理性，避免情绪化的表达。
寻求工会或职工代表的帮助：如果与工厂的沟通没有取得理想的结果，你可以考虑寻求工会或职工代表的帮助。他们可以作为中间人，协助你与工厂进行协商，争取更合理的解决方案。
三、法律权益的角度
了解相关法律法规：根据《中华人民共和国劳动法》等相关法律法规，劳动者享有合法的劳动权益，包括但不限于劳动条件、劳动保护等。虽然宿舍问题可能不直接涉及这些核心权益，但如果工厂的宿舍调整行为对你的生活造成了严重影响，或者存在歧视、不公平对待等情况，你可以依法维护自己的权益。
考虑法律途径：如果与工厂的协商没有结果，且你认为工厂的行为侵犯了你的合法权益，你可以考虑通过法律途径来解决。这包括向劳动监察部门投诉、申请劳动仲裁等。但在采取法律行动之前，建议你先咨询专业的法律人士，了解自己的权益和可能的法律后果。
四、实际操作的建议
保留证据：在与工厂沟通或协商的过程中，建议你保留相关的证据，如沟通记录、邮件、短信等。这些证据在后续可能需要的法律程序中可能会起到关键作用。
考虑实际影响：在决定是否换宿舍时，除了考虑自己的意愿外，还需要考虑实际影响。比如新宿舍的环境、距离工作地点的远近等。如果新宿舍的条件确实不如原宿舍，你可以将这些因素作为与工厂协商的依据。
若你仍然对如何处理此事感到困惑或有其他法律问题，可以直接向我咨询。我会根据你的具体情况，为你提供更详细、更专业的法律建议。