私人建房占用了工厂土地属于侵权行为，需根据具体情况采取不同处理方式，具体如下：

1. 确认土地权属与占用性质

   • 首先需明确工厂土地的权属证明（如国有土地使用证、集体土地建设用地使用证等），确认私人建房是否确实侵占了工厂合法使用的土地范围。
   • 若占用行为未经工厂同意且无合法手续，则构成侵权；若存在历史遗留问题（如长期使用未确权）或行政许可瑕疵（如超范围建设），需进一步分析法律责任。

2. 协商与行政处理

   • 协商解决：工厂可与建房者协商，要求其停止侵权、恢复原状或赔偿损失。若双方达成一致，可签订书面协议并履行。
   • 行政投诉：若协商无果，工厂可向当地自然资源部门（原国土部门）或城市管理部门投诉，要求查处非法占地行为。行政部门有权责令停止建设、限期拆除或没收违法建筑，并可处以罚款。

3. 民事诉讼途径

   • 工厂可向法院提起民事诉讼，主张侵权责任。根据《民法典》第236条，工厂有权要求建房者排除妨碍（如拆除房屋）、返还土地并赔偿损失（包括土地占用费、恢复原状费用等）。
   • 若建房者拒不履行判决，工厂可申请法院强制执行。

4. 刑事责任风险

   • 若占用土地面积较大（如达到刑事立案标准，具体标准因地区而异）或存在其他严重情节（如暴力抗法、伪造证件），建房者可能涉嫌非法占用农用地罪（若土地为农用地）或非法转让、倒卖土地使用权罪。工厂可向公安机关报案，追究其刑事责任。

5. 特殊情形处理

   • 历史遗留问题：若建房行为发生在多年前且土地权属存在争议，可能需通过行政确权程序明确权属后，再处理侵权问题。
   • 善意第三人：若建房者不知情且支付了合理对价（如从他人处购买房屋），可能涉及善意取得问题，需结合具体证据分析法律责任。

建议行动步骤：

1. 收集土地权属证明、建房现场照片、协商记录等证据；
2. 向当地自然资源部门或城市管理部门投诉并要求查处；
3. 同步咨询律师，评估诉讼可行性并准备起诉材料；
4. 若涉及刑事犯罪，及时向公安机关报案。

提示：土地侵权问题可能涉及行政、民事、刑事多重法律关系，建议根据具体情况选择最优处理方案。如有进一步疑问，可直接向我咨询具体细节。