工厂违规建筑的管理通常由县级以上人民政府的住建部门、市政管理部门以及城乡规划主管部门共同负责。以下是对此问题的详细分析：
一、管理部门的职责
住建部门与市政管理部门：
- 这两个部门在工厂违规建筑的管理中扮演着重要角色。它们依据《土地管理法》、《城乡规划法》以及《村庄和集镇规划建设管理条例》等法律法规，对违规建筑进行认定和处理。
- 在执法过程中，它们能够综合运用这些法规进行有效的管理和监督，确保建筑活动的合法性和合规性。
城乡规划主管部门：
- 城乡规划主管部门是工厂违规建筑管理的另一关键部门。它负责城乡规划的制定和实施，对违反城乡规划法律法规的行为进行认定和处理。
- 当工厂建筑违反城乡规划，如侵占安全通道、非法占用土地、影响城市空间布局或破坏生态环境时，城乡规划主管部门将进行专业的认定，并采取相应的处理措施。
二、违规建筑的情形
工厂违规建筑通常包括以下几种情形：
- 未经申请或申请未获得批准，即未取得建设用地规划许可证和建设工程规划许可证而擅自建造的建筑。
- 擅自改变建设工程规划许可证的规定而建成的建筑，这包括违反规划条件、擅自变更设计方案等行为。
- 擅自改变了使用性质建成的建筑，如将工业用地上的建筑改为住宅用途。
- 擅自将临时建筑设成为永久性建筑，这违背了临时建筑的初衷和规划要求。
三、违规建筑的处理
责令停止建设或限期拆除：
- 当城乡规划主管部门作出责令停止建设或者限期拆除的决定后，如果当事人不停止建设或者逾期不拆除的，建设工程所在地县级以上人民政府可以责成相关部门采取查封施工现场、强制拆除等措施。
强制拆除的程序：
- 在强制拆除之前，政府必须严格遵循《行政强制法》的程序性规定，如先通知相对人自行拆除、在当地张贴公告且不得在夜间拆除等，以确保拆除行为的合法性和合理性。
当事人的救济途径：
- 当事人对于拆除决定不服的，还可以通过行政复议或行政诉讼等途径进行救济，维护自己的合法权益。
四、建议与提醒
- 及时报告：当发现工厂存在违规建筑时，应及时向相关部门报告，以便其依法进行处理。
- 合法建设：工厂在进行建筑活动时，应严格遵守相关法律法规，确保建筑活动的合法性和合规性，避免产生不必要的法律纠纷和经济损失。
如有任何关于工厂违规建筑或其他法律问题的疑问，请直接向我咨询。我将根据您的具体情况，提供专业、全面的法律建议。