非法占用土地建祠堂属于违法行为，需根据具体情况承担相应法律责任，处理方式主要包括行政处罚、责令退还土地、限期拆除或没收地上建筑物，并可能面临刑事责任追究。具体分析如下：

1. 行政处罚与责令退还土地
   根据《土地管理法》第七十七条，未经批准非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地。若祠堂占用的是农用地（如耕地、林地），还可能因违反土地用途管制制度面临更严格的处罚。

2. 限期拆除或没收地上建筑物

   • 若非法占用土地符合土地利用总体规划（如占用建设用地建祠堂），主管部门会责令限期改正，没收地上建筑物并处罚款；
     
   • 若不符合规划（如占用耕地建祠堂），则需限期拆除建筑物，恢复土地原状，并处罚款。罚款标准通常为每平方米100元至1000元，具体根据占用土地类型和情节严重程度确定。

3. 刑事责任追究
   若非法占用土地行为达到“数量较大”（如占用基本农田5亩以上或基本农田以外的耕地10亩以上）或造成耕地等农用地大量毁坏，可能触犯《刑法》第三百四十二条，构成非法占用农用地罪，处五年以下有期徒刑或者拘役，并处或者单处罚金。

4. 特殊情形处理

   • 历史遗留问题：若祠堂建于《土地管理法》实施前（1987年1月1日前），且符合当时政策，可能按“历史用地”处理，需补办用地手续；
     
   • 宗教活动场所：若祠堂涉及宗教活动，需同时符合《宗教事务条例》规定，未经批准擅自建设仍属违法。

建议行动：

1. 立即停止建设行为，避免扩大违法后果；
   
2. 委托律师核查土地性质、用地审批情况及建筑物现状，评估法律风险；
   
3. 与自然资源主管部门沟通，争取通过补办手续、缴纳罚款等方式合法化；
   
4. 若面临强制拆除，可依法申请行政复议或提起行政诉讼，维护合法权益。
   

如有进一步疑问，可直接向我咨询具体法律问题。