结论：在一般情况下，您有权拒绝工厂人事提出的换宿舍要求，但具体是否能够拒绝还需根据实际情况和工厂的相关规定来判断。以下是从不同角度的详细分析：
一、从劳动合同和工厂规章制度的角度
劳动合同约定：
- 如果您的劳动合同中明确规定了宿舍的分配、使用或调整等条款，且这些条款并未赋予工厂单方面调整宿舍的权利，那么您有权依据劳动合同拒绝换宿舍的要求。
- 反之，如果劳动合同中对此有模糊规定或赋予了工厂一定的调整权，那么您可能需要与工厂进行协商，看是否能够达成一致意见。
工厂规章制度：
- 工厂可能会制定一些关于宿舍管理的规章制度，这些规章制度可能涉及宿舍的分配、调整、使用等方面。
- 如果这些规章制度是合法有效的，并且您已经知晓并同意遵守，那么您需要按照规章制度的规定来执行。但即便如此，如果规章制度的调整要求不合理或侵犯了您的合法权益，您仍然有权提出异议。
二、从法律原则和权益保护的角度
居住权保障：
- 作为员工，您享有在工厂提供的宿舍中居住的权利。这一权利受到法律的保护，工厂不得随意剥夺或限制。
- 如果工厂要求您换宿舍，且这一要求没有合理的理由或违反了相关法律法规，那么您有权拒绝并维护自己的居住权。
协商与沟通：
- 在面对换宿舍的要求时，建议您首先与工厂人事进行协商和沟通，了解换宿舍的具体原因和目的。
- 如果工厂能够提供合理的解释和补偿方案，且您认为可以接受，那么可以考虑同意换宿舍。但如果工厂的要求不合理或无法提供满意的解决方案，您有权坚持自己的立场并拒绝换宿舍。
三、特殊情况下的处理
工厂因特殊原因需要调整宿舍：
- 如果工厂因特殊原因（如宿舍维修、改造、扩建等）需要调整宿舍，且这一调整是暂时性的或能够提供合理的替代方案，那么您可能需要配合工厂的调整要求。
- 但即便如此，工厂也应提前告知您并征得您的同意，同时确保调整过程中的合理性和合法性。
您个人原因需要换宿舍：
- 如果您因个人原因（如健康、安全、便利等）需要换宿舍，且能够提供合理的证明和依据，那么您可以向工厂提出换宿舍的申请。
- 工厂在收到您的申请后，应根据实际情况进行考虑和安排，尽量满足您的合理需求。
建议：在面对换宿舍的要求时，建议您首先了解自己的劳动合同和工厂规章制度中关于宿舍管理的相关规定；其次，与工厂人事进行协商和沟通，了解换宿舍的具体原因和目的；最后，根据自己的实际情况和合法权益做出决策。如果您认为工厂的要求不合理或侵犯了您的合法权益，可以向相关部门投诉或寻求法律援助。有问题可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。