结论：工厂离职后要求退宿舍，一般情况下您需要按照工厂规定或双方约定办理宿舍退还手续，但若工厂存在不合理要求或侵犯您合法权益的情况，您有权依法维权。以下从不同角度为您详细分析：
一、正常离职情况下的宿舍退还
依据工厂规定或双方约定：
- 如果您在入职时与工厂签订了劳动合同或相关协议，其中明确规定了离职后宿舍的退还方式和时间，那么您应当按照这些规定或约定来执行。
- 工厂作为用人单位，有权根据自身管理需要制定宿舍管理制度，离职员工通常需要遵守这些制度，包括宿舍的退还。
办理退还手续：
- 在离职时，您应当与工厂相关部门（如后勤部、人事部等）联系，了解宿舍退还的具体流程和要求。
- 按照要求，您可能需要清理个人物品、归还宿舍钥匙、结清水电费等费用，并办理相关签字确认手续。
二、工厂存在不合理要求或侵犯合法权益的情况
不合理要求：
- 如果工厂要求您立即搬离宿舍，但未给予您合理的搬离时间或未提供必要的协助（如搬运工具、临时住宿等），这可能构成不合理要求。
- 在这种情况下，您可以与工厂协商，争取合理的搬离时间或协助。如果协商无果，您可以向当地劳动监察部门投诉或寻求法律援助。
侵犯合法权益：
- 如果工厂在要求您退宿舍的过程中，存在侵犯您个人隐私、财产安全等合法权益的行为（如擅自进入宿舍搜查、扣押个人物品等），您有权依法维权。
- 您可以保留相关证据（如照片、视频、证人证言等），并向当地公安机关报案或向法院提起诉讼，要求工厂承担相应的法律责任。
三、特殊情况下的处理
宿舍费用结算：
- 如果您在离职时，工厂要求您支付宿舍使用费或其他相关费用，您应当核实这些费用的合理性和合法性。
- 如果费用合理且您确实使用了宿舍，那么您应当按照要求支付。但如果费用不合理或存在争议，您可以与工厂协商或寻求法律援助。
宿舍物品损坏赔偿：
- 如果在您使用宿舍期间，宿舍内的物品因您的过错而损坏，工厂有权要求您进行赔偿。
- 但赔偿金额应当合理，且工厂应当提供损坏物品的购买凭证或价值评估证明。如果工厂无法提供这些证明，您有权拒绝不合理赔偿要求。
建议：在处理工厂离职后要求退宿舍的问题时，建议您保持冷静和理性，与工厂进行友好协商。如果协商无果或工厂存在不合理要求或侵犯您合法权益的情况，您可以及时寻求法律援助或向相关部门投诉。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。