工厂违建的管理主要由城市管理综合行政执法部门（城管）、城乡规划主管部门以及土地管理部门共同负责，其中县级以上地方人民政府城乡规划主管部门在法律依据上承担核心责任。以下是对这一问题的详细分析：
一、主要管理部门及职责
城市管理综合行政执法部门（城管）
- 职责概述：城管部门负责日常巡查和执法工作，对不符合规划要求、未取得建设工程规划许可证等违规搭建的工厂建筑有权责令停止建设、限期拆除等。
- 具体情形：例如，工厂在未获得相关许可的情况下擅自搭建仓库或生产车间，城管部门在巡查发现后，会依法进行查处。
城乡规划主管部门
- 职责概述：根据《中华人民共和国城乡规划法》，城乡规划主管部门负责城乡规划的编制、实施和监督管理。对于工厂建设违反城乡规划的情况，如建设在非建设用地或不符合规划功能分区等，城乡规划主管部门有权认定违建并作出相应处理。
- 具体情形：若工厂建设在未经规划批准的区域，或者建设内容与规划不符，城乡规划主管部门将介入调查，并根据情况作出责令改正、限期拆除等决定。
土地管理部门
- 职责概述：土地管理部门主要负责土地的使用和保护。若工厂建设未经合法土地审批手续，非法占用土地进行建设，土地管理部门将介入查处。
- 具体情形：例如，工厂未经批准擅自占用耕地或林地建设，土地管理部门将责令退还非法占用的土地，并限期拆除在非法占用土地上新建的建筑物和其他设施。
二、法律责任及处理措施
- 根据《中华人民共和国城乡规划法》的相关规定，未取得建设工程规划许可证或未按照建设工程规划许可证的规定进行建设的工厂，将面临以下法律责任：
- 由县级以上地方人民政府城乡规划主管部门责令停止建设；
- 若尚可采取改正措施消除对规划实施的影响，将限期改正，并处以建设工程造价百分之五以上百分之十以下的罚款；
- 若无法采取改正措施消除影响，将限期拆除；不能拆除的，没收实物或者违法收入，并可处以建设工程造价百分之十以下的罚款。
三、实际操作中的建议
- 工厂方面：在建设前，务必了解并遵守相关法律法规，确保建设行为符合城乡规划和土地使用要求。若对规划或土地使用有疑问，可咨询当地城乡规划主管部门或土地管理部门。
- 公众方面：若发现身边存在违建行为，可以向当地城乡规划主管部门或城管部门咨询或举报。这既是公民的权利，也是参与城市规划和管理的重要途径。
综上所述，工厂违建的管理涉及多个部门，各部门需协同合作，确保城市规划和土地使用的合法性。若您在工厂建设或管理中遇到相关法律问题，可以直接向我咨询，我会根据您的具体情况提供详细的法律建议。