工厂违章建筑的管理部门并非单一，而是根据违建的具体情况和所在地的行政管理体系来确定，主要涉及以下几个部门：
城市管理综合行政执法部门（城管部门）：
- 在多数城市，城管部门是查处违章建设的主要力量。他们负责监督检查和处罚城市规划区内违反规划管理规定的行为，如未取得建设工程规划许可证或未按许可证规定进行建设等。对于工厂违章建筑，若其位于城市规划区内，城管部门有权进行查处，包括责令停止建设、限期拆除等。
城乡规划主管部门：
- 城乡规划主管部门依据《中华人民共和国城乡规划法》负责城乡规划的编制、审批和实施监督。对于工厂建设违反城乡规划的情况，如建设在非建设用地或不符合规划功能分区等，城乡规划主管部门有权认定违建性质，并根据情况作出责令停止建设、限期改正、罚款、限期拆除等处理决定。若工厂违章建筑位于城市、镇规划区内，且未取得或未按建设工程规划许可证进行建设，城乡规划主管部门将承担主要查处责任。
乡镇人民政府：
- 在乡、村庄规划区内，乡镇人民政府是管理违章建设的主要责任主体。对于工厂未经审批擅自建房等违章建设情况，若其位于乡、村庄规划区内，乡镇人民政府有权进行调查处理，制止违法建设行为，并依法作出相应处罚，包括责令停止建设、限期改正及拆除等。
土地行政主管部门：
- 县级以上地方人民政府土地行政主管部门对违法占地建设行为具有管辖权。若工厂违章建筑涉及到非法占用土地，如未经批准或采取欺骗手段骗取批准非法占用土地进行建设，土地行政主管部门将介入调查并依法处理，包括责令退还非法占用的土地、限期拆除在非法占用土地上新建的建筑物和其他设施等。
在实际操作中，面对工厂违章建筑问题，建议采取以下步骤：
- 首先确认违建位置：明确工厂违章建筑的具体位置，判断其是否位于城市、镇规划区或乡、村庄规划区内，以及是否涉及非法占用土地。
- 然后咨询相关部门：根据违建位置，向当地城乡规划主管部门、城管部门或乡镇人民政府咨询，了解具体的查处流程和所需材料。
- 最后配合查处工作：若相关部门认定工厂建筑为违章建筑，应积极配合查处工作，按照要求停止建设、限期改正或拆除违建部分，以避免进一步的法律责任。
若对查处结果有异议，可以依法申请行政复议或提起行政诉讼，维护自身合法权益。但在此之前，建议先咨询专业律师，了解具体的法律程序和可能的结果，以便做出更明智的决策。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我将根据你的具体情况提供详细的法律建议。