结论：工厂在您未实际上班，仅在宿舍住了两晚的情况下，不让您走的行为是否合理，需根据具体情况判断，但一般情况下工厂无权限制您的人身自由，您有权选择离开。以下从不同角度为您详细分析：
一、从劳动关系建立的角度
劳动关系未建立时：
- 若您尚未与工厂签订劳动合同，也未实际开始工作，那么您与工厂之间尚未建立劳动关系。在此情况下，工厂无权限制您的人身自由，您有权自由选择是否继续留在工厂或离开。
- 法律依据：根据《中华人民共和国劳动合同法》第七条，用人单位自用工之日起即与劳动者建立劳动关系。用工之日指的是劳动者实际开始为用人单位提供劳动之日，而非签订劳动合同之日或入住宿舍之日。
劳动关系已建立但未实际工作：
- 若您已与工厂签订劳动合同，但尚未实际开始工作（如因工厂原因未安排工作），您仍有权选择离开。工厂不能以您已签订合同或入住宿舍为由限制您的人身自由。
- 建议：在此情况下，您可以与工厂协商解除劳动合同，并要求工厂出具解除劳动合同的证明。若工厂拒绝，您可以向当地劳动监察部门投诉或申请劳动仲裁。
二、从工厂管理规定的角度
- 工厂可能有其内部管理规定，如要求员工在入职前或离职前进行一定的手续办理。然而，这些规定不能违反法律法规，不能限制员工的人身自由。
- 若工厂以内部管理规定为由限制您离开，您可以要求工厂出示相关规定，并评估其合法性。若规定违法或不合理，您有权拒绝遵守，并选择离开。
三、从实际操作的建议角度
与工厂沟通：
- 首先，您可以尝试与工厂管理层或人力资源部门沟通，说明您的情况和意愿，要求工厂允许您离开。
保留证据：
- 在沟通过程中，建议您保留好相关证据，如聊天记录、录音、录像等，以备不时之需。
寻求法律援助：
- 若工厂拒绝让您离开，且沟通无果，您可以向当地劳动监察部门投诉或申请劳动仲裁。在此过程中，您可以寻求法律援助或咨询专业律师（如我），以更好地维护自己的合法权益。
最后，无论何种情况，工厂都无权限制您的人身自由。若您遇到此类问题，请保持冷静，通过合法途径维护自己的权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。