结论：工厂非法把员工退回派遣公司且不让住宿舍，员工在特定情况下是可以拒绝的。具体能否拒绝，需结合工厂退回行为的合法性、劳动合同及派遣协议的约定等多方面因素综合判断。以下从不同角度为你详细分析：
一、工厂退回行为的合法性判断
合法退回的情形：
- 根据《劳务派遣暂行规定》第十二条，有下列情形之一的，用工单位可以将被派遣劳动者退回劳务派遣单位：
- 用工单位有劳动合同法第四十条第三项（客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的）、第四十一条（经济性裁员）规定情形的；
- 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或者经营期限届满不再继续经营的；
- 劳务派遣协议期满终止的。
- 若工厂的退回行为符合上述法定情形，且程序合法，那么工厂的退回行为是合法的。但即便如此，工厂不让员工住宿舍的行为是否合法，还需看宿舍是否属于劳动合同约定的福利待遇或工厂规章制度中明确规定的员工福利。
非法退回的情形：
- 若工厂的退回行为不符合上述法定情形，或者退回程序违法（如未提前通知、未与员工协商等），则工厂的退回行为可能构成非法退回。
- 在非法退回的情况下，员工有权拒绝被退回，并可以要求工厂继续履行劳动合同或承担相应的法律责任。
二、劳动合同及派遣协议的约定
劳动合同的约定：
- 员工应仔细审查自己与劳务派遣公司签订的劳动合同，看其中是否对退回情形、宿舍安排等有明确约定。
- 若劳动合同中有明确约定，且工厂的退回行为违反了劳动合同的约定，员工可以依据劳动合同的约定拒绝被退回或要求工厂承担违约责任。
派遣协议的约定：
- 劳务派遣公司与工厂之间签订的劳务派遣协议也可能对退回情形、宿舍安排等有约定。
- 若派遣协议中有明确约定，且工厂的退回行为违反了派遣协议的约定，劳务派遣公司可以依据派遣协议的约定向工厂主张权利，员工也可以间接通过劳务派遣公司维护自己的权益。
三、宿舍安排的法律性质
宿舍作为福利待遇：
- 若宿舍是工厂作为福利待遇提供给员工的，且这一福利待遇在劳动合同或工厂规章制度中有明确规定，那么工厂在退回员工时不让住宿舍的行为可能构成违约或违法。
- 员工可以要求工厂继续提供宿舍或承担相应的违约责任。
宿舍作为工作条件的一部分：
- 在某些特殊情况下，宿舍可能被视为工作条件的一部分（如员工需要住在工厂附近以便随时响应工作需求）。
- 若工厂在退回员工时剥夺了员工原有的工作条件（包括宿舍），且这一行为没有合理理由或未与员工协商一致，员工可以拒绝被退回或要求工厂恢复原有的工作条件。
四、法律建议
与工厂和劳务派遣公司沟通：
- 员工应首先与工厂和劳务派遣公司进行沟通，了解退回的具体原因和宿舍安排的情况。
- 在沟通过程中，员工可以要求工厂和劳务派遣公司提供相关的法律依据和合同依据。
收集证据：
- 员工应收集与退回和宿舍安排相关的证据（如劳动合同、派遣协议、工厂规章制度、沟通记录等）。
- 这些证据将有助于员工在后续的法律程序中维护自己的权益。
寻求法律援助：
- 若沟通无果或工厂和劳务派遣公司的行为明显违法或违约，员工可以寻求法律援助或向劳动监察部门投诉。
- 在必要时，员工还可以提起劳动仲裁或诉讼来维护自己的合法权益。
总结：工厂非法把员工退回派遣公司且不让住宿舍，员工在特定情况下是可以拒绝的。具体能否拒绝需结合工厂退回行为的合法性、劳动合同及派遣协议的约定以及宿舍安排的法律性质等多方面因素综合判断。若遇到此类问题，建议员工及时与工厂和劳务派遣公司沟通并收集相关证据，必要时寻求法律援助以维护自己的合法权益。有问题可以直接向我咨询。