工厂住人属于违反安全生产、消防及建筑用途相关规定的违法行为，具体处罚需根据违规性质、后果严重程度及地方性法规综合判定，常见处罚措施包括责令整改、罚款、停产停业整顿，情节严重可能涉及刑事责任。以下从不同法律角度展开分析：
1. 安全生产法角度：若工厂住人影响安全生产，可能面临行政处罚
根据《中华人民共和国安全生产法》第四十二条，生产经营场所和员工宿舍应当设有符合紧急疏散要求、标志明显、保持畅通的出口、疏散通道，禁止占用、锁闭、封堵生产经营场所或者员工宿舍的出口、疏散通道。若工厂住人导致疏散通道被占用、安全出口被堵塞，或存在其他安全隐患（如易燃易爆物品与居住区混杂），安全生产监督管理部门可责令限期改正；逾期未改正的，处五万元以下罚款，对其直接负责的主管人员和其他直接责任人员处一万元以下罚款；情节严重的，责令停产停业整顿。
关键点：需证明住人行为与安全生产隐患存在直接关联（如疏散通道被占用、安全设施被破坏等），处罚对象包括工厂（单位）和直接责任人。
2. 消防法角度：工厂住人若违反消防规定，处罚更严厉
根据《中华人民共和国消防法》第十九条，生产、储存、经营其他物品的场所与居住场所设置在同一建筑物内的，应当符合国家工程建设消防技术标准（即“三合一”场所需通过消防验收）。若工厂未满足消防技术标准（如未设置独立疏散通道、未配备消防设施、居住区域与生产区域未防火分隔等），消防救援机构可责令停产停业，并处五千元以上五万元以下罚款；若经责令改正后拒不改正，强制执行，所需费用由违法行为人承担。
关键点：消防处罚不依赖“是否发生事故”，只要存在违规设置“三合一”场所的事实即可处罚；若因住人导致火灾等事故，还可能涉及刑事责任（如失火罪、重大责任事故罪）。
3. 建筑用途与规划角度：擅自改变工厂用途住人可能面临规划处罚
若工厂建筑原规划用途为生产场所，未经规划部门批准擅自改为居住用途，可能违反《中华人民共和国城乡规划法》第六十四条。规划主管部门可责令限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
关键点：此处罚针对“擅自改变建筑用途”行为，需以规划部门认定为准，与安全生产、消防处罚可并行适用。
4. 刑事责任风险：若住人导致重大事故，可能构成犯罪
若工厂住人行为直接导致火灾、爆炸等重大安全事故，造成人员伤亡或财产重大损失，可能触犯《中华人民共和国刑法》第一百三十四条（重大责任事故罪）、第一百三十九条（消防责任事故罪）或第一百一十五条（失火罪）。例如，因住人导致疏散不及时造成多人死亡，工厂负责人可能被处三年以上七年以下有期徒刑；情节较轻的，处三年以下有期徒刑或者拘役。
关键点：刑事责任需以“事故后果严重”为前提，需结合具体案情（如过错程度、因果关系等）认定。
总结建议
若发现工厂住人问题，建议按以下步骤处理：
工厂住人问题涉及多部门监管，处罚力度与违规性质、后果直接相关，务必重视合规整改，避免法律风险升级。