你可以通过协商、行政投诉、民事诉讼等途径要回被霸占的土地，具体如下：

1. 协商解决

   • 步骤：首先尝试与霸占土地建厂房的一方进行友好、理性的协商。明确向对方表明你对土地的合法所有权或使用权，指出其霸占土地并建厂房的行为属于侵权行为，要求对方停止侵害、拆除厂房并归还土地。在协商过程中，可以提出合理的解决方案，例如给予对方一定的时间自行拆除厂房，或者协商一定的补偿方案（如果是对方在不知情等合理情况下占用，且拆除会造成较大损失时）。
   • 优势：协商解决成本较低，不需要耗费大量的时间和精力去走法律程序，而且如果双方能够达成一致，可以较为迅速地解决问题，避免矛盾进一步激化。
   • 注意事项：协商过程中要注意保留相关的证据，如协商的记录（可以是书面协议、录音等），以防止对方反悔。

2. 向行政主管部门投诉

   • 步骤：如果协商无果，你可以向当地的国土资源管理部门、城乡规划部门等相关行政主管部门进行投诉。向国土资源管理部门投诉时，需要提供能够证明你对土地拥有合法权利的证据，如土地使用权证、土地承包合同等，说明对方未经批准擅自占用土地建厂房的违法事实。城乡规划部门则主要关注厂房的建设是否符合城乡规划要求，如果厂房属于违法建设，他们会依法进行处理。
   • 优势：行政主管部门具有行政执法权，能够对违法行为进行查处，责令对方停止建设、拆除违法建筑等，具有较强的威慑力。而且行政处理程序相对民事诉讼来说，可能更为快捷。
   • 注意事项：要按照行政主管部门的要求提供真实、完整的证据材料，积极配合他们的调查和处理工作。同时，要关注行政处理的进展情况，如果对处理结果不满意，可以在法定期限内申请行政复议或者提起行政诉讼。

3. 提起民事诉讼

   • 步骤：如果通过协商和行政投诉都无法解决问题，你可以向人民法院提起民事诉讼。在起诉前，要准备好充分的证据，包括证明你对土地拥有合法权利的证据、对方霸占土地建厂房的证据（如现场照片、视频、证人证言等）。向法院提交起诉状，明确诉讼请求，如要求对方停止侵害、排除妨碍、返还土地、赔偿损失等。法院受理后，会依法进行审理，并作出判决。
   • 优势：民事诉讼具有强制执行力，如果法院判决你胜诉，对方不履行判决义务，你可以向法院申请强制执行，通过法律手段强制对方归还土地、拆除厂房并赔偿损失。
   • 注意事项：民事诉讼程序相对较为复杂，需要耗费一定的时间和精力，而且可能需要支付一定的诉讼费用。在诉讼过程中，要严格遵守诉讼程序和法律规定，积极配合法院的审理工作。

在处理此类问题时，证据的收集和保存至关重要。无论是协商、投诉还是诉讼，都需要有充分的证据来支持你的主张。如果你在处理过程中遇到任何法律问题，都可以直接向我咨询。