针对您提出的“工厂违规建房起来后如何处理”的问题，这是一个涉及法律法规和行政程序的复杂问题。以下是我为您整理的详细处理流程和建议：
一、明确违法事实及调查认定
调查主体：
- 通常由城乡规划主管部门、城市管理综合执法部门或乡镇人民政府等具有相关执法权的部门负责调查。
调查内容：
- 收集工厂建设的相关资料，包括建设时间、地点、规模、用途等。
- 核实是否取得了建设工程规划许可证或乡村建设规划许可证，以及是否按照许可证规定进行建设。
认定标准：
- 依据《城乡规划法》等相关法律规定，未取得许可证或未按许可证规定建设的厂房，均可能被认定为违法建筑。
二、责令改正与处罚
限期改正：
- 如果违法建筑可以通过改正措施消除对规划实施的影响，执法部门会责令限期改正，如补办审批手续、调整建设方案等。
缴纳费用：
- 在改正过程中，可能需要按规定缴纳罚款、土地出让金等相关费用。罚款金额通常根据建设工程造价的百分比来确定。
发出整改通知或处罚决定书：
- 执法部门会明确指出违法事实、法律依据、整改要求及期限，确保工厂方面知晓并理解其法律义务。
三、强制拆除与法律救济
作出拆除决定：
- 如果违法建筑无法采取改正措施消除影响，执法部门会作出责令限期拆除的决定，并事先催告工厂方面履行义务。
申请复议或诉讼：
- 工厂方面对限期拆除决定不服的，可以在规定期限内申请行政复议或提起行政诉讼，以维护自身合法权益。
强制拆除：
- 如果工厂方面在法定期限内既不申请复议或诉讼，又不拆除的，行政机关可以依法强制拆除，并应公告限期工厂方面自行拆除。
四、其他处理措施
没收实物或违法收入：
- 对于无法拆除的违法建筑，执法部门可能会决定没收该厂房及其违法收入，并可并处建设工程造价一定比例的罚款。
恢复原状：
- 执法部门还可能要求工厂方面将违法建设所占用的土地恢复到原状，包括拆除附属设施、清理场地等。
五、特殊情形下的处理原则
历史遗留问题：
- 对于因历史原因形成的违法建筑，需要结合当地政策进行妥善处理，可能涉及补办手续、部分拆除或保留观察等措施。
公共利益考量：
- 在处理过程中，应充分考虑公共利益因素，避免简单“一刀切”导致资源浪费或社会不稳定。例如，如果违法建筑对公共安全或环境造成严重影响，应优先进行拆除或整改。
六、建议与预防措施
加强法律法规学习：
- 工厂方面应加强对相关法律法规的学习，了解建设活动的合法性和合规性要求，避免违法建设行为的发生。
提前咨询与审批：
- 在进行建设活动前，应提前咨询相关部门并办理必要的审批手续，确保建设活动的合法性和顺利进行。
加强日常监管与自查：
- 工厂方面应加强日常监管和自查力度，及时发现并纠正违法建设行为，避免问题扩大和恶化。
综上所述，处理工厂违规建房问题需要严格遵循相关法律法规和行政程序，确保处理过程的合法性、公正性和透明度。同时，工厂方面也应加强法律法规学习、提前咨询与审批以及加强日常监管与自查等措施，以预防违法建设行为的发生。