核心结论：地主有权要求返还土地，但具体处理方式需结合实际情况，可能涉及协商、行政程序或诉讼途径。以下是具体分析：

1. 土地性质与合法性审查
   根据《土地管理法》第44条，农民集体所有土地用于非农建设（如建厂房）需经省级政府批准并办理农用地转用手续。若未履行审批程序，该建设行为属于违法用地，土地所有权人（地主）有权要求返还土地。
   关键点：需先确认土地是否为集体所有、厂房建设是否取得合法审批。若土地为国有，则需核查出让合同或划拨决定书。

2. 无合同情况下的权利主张
   即使双方未签订书面合同，若存在口头协议或实际使用关系，地主仍可基于物权法主张权利：

   • 协商解决：建议优先通过协商明确土地返还时间、补偿标准（如地上附着物价值）及过渡期安排。
     
   • 行政投诉：向当地自然资源部门举报违法用地行为，要求行政机关责令拆除厂房、恢复土地原状（《土地管理法》第77条）。
     
   • 民事诉讼：若协商无果，可起诉要求返还土地并赔偿损失（如土地占用费）。需注意：若厂房建设方已取得合法审批，地主可能需通过行政复议或诉讼撤销审批文件后再主张权利。

3. 历史遗留问题的特殊处理
   若厂房建设于2008年《城乡规划法》实施前，且符合当时政策（如“乡镇企业用地”），可能适用“历史遗留问题”处理方式：

   • 补办用地手续：缴纳罚款后完善审批程序，土地使用权可依法流转。
     
   • 协商补偿：若土地被征收为国有，地主有权获得土地补偿费、安置补助费等（《土地管理法》第48条）。

4. 风险提示与建议

   • 时效性：土地返还请求权适用普通诉讼时效（3年），自知道权利被侵害之日起计算。但若土地被违法占用状态持续，时效可能中断。
     
   • 证据收集：建议地主保留土地权属证明（如集体土地使用证）、厂房建设时间证据（如卫星影像、证人证言）及协商记录。
     
   • 专业协助：因涉及土地规划、行政审批等复杂问题，建议委托律师协助调查取证、制定诉讼策略。

行动建议：地主可先向当地自然资源部门申请信息公开，核查厂房建设审批情况，再根据结果选择协商、投诉或诉讼途径。如有进一步疑问，可直接向我咨询具体操作流程。