违规建造工厂房的处理，通常由多个部门依职责进行，具体如下：
自然资源部门：
- 自然资源部门负责对土地资源的管理和监督。若存在未经合法审批占用土地建厂房的情况，这属于违法占地行为。自然资源部门有权责令停止违法行为，并根据土地利用总体规划的情况，对符合规划的，没收在非法占用的土地上新建的建筑物和其他设施，并可以并处罚款；对不符合土地利用总体规划的，则限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。
城乡规划部门：
- 如果建厂房的行为违反了城乡规划相关规定，比如未取得建设工程规划许可证等进行建设，城乡规划部门可依法作出处罚。处罚措施包括责令停止建设、限期改正、罚款，甚至强制拆除等。
农业农村部门：
- 若违规建造的工厂房涉及占用农用地，特别是耕地进行非农建设，农业农村部门在职责范围内会对破坏耕地等违法行为进行查处。
不同地区可能会根据实际情况对部门职责进行调整或明确分工，因此，具体处理部门可能以当地规定为准。
在处理违规建造工厂房的问题时，相关部门会遵循一定的流程：
- 首先，相关部门（如城乡规划主管部门）在发现或接到举报后，会立即立案调查，收集证据，包括现场勘查记录、询问笔录、相关证照等。
- 接着，对正在建设的违法建筑，会立即责令停工。若当事人不配合，可采取查封施工现场、强制拆除部分已建结构等措施。
- 然后，根据调查结果，依法作出处罚决定，可能包括罚款、限期拆除、没收违法所得等。处罚决定书会送达当事人，并告知其申请行政复议或提起行政诉讼的权利。
- 若当事人逾期不履行处罚决定，相关部门可依法申请人民法院强制执行，包括强制拆除违法建筑。
对于违规建造工厂房的行为，法律后果是严重的。不仅可能面临罚款、限期拆除等处罚，还可能对企业的声誉和长期发展造成不利影响。因此，建议企业在建造工厂房前，务必确保取得所有必要的审批和许可，遵守相关法律法规，以避免不必要的法律风险和经济损失。
若您遇到违规建造工厂房的相关问题，或有其他法律方面的疑问，可以直接向我咨询。我会根据您的具体情况，提供专业、全面的法律建议。