在我国，违法建设的认定和处理主要由多个部门依据不同法律法规进行，具体部门及职责如下：

1. 自然资源主管部门

   • 主要职责：负责查处非法占用土地的行为，特别是将农用地擅自改为建设用地的违法行为。
   • 认定情形：未经批准或骗取批准在农用地上建设房屋等改变土地用途的行为。
   • 法律依据：《中华人民共和国土地管理法》第七十七条明确规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。

2. 农业农村主管部门

   • 主要职责：参与农村地区农业设施建设、宅基地使用等方面的违法违规建设行为的认定和管理。
   • 认定情形：超出宅基地批准面积建设、未经审批擅自建设农业大棚后改作居住用房等。
   • 说明：虽然直接法律依据可能未明确提及农业农村主管部门为违法建设的主要认定部门，但在实际管理中，农业农村主管部门在农村地区农业设施建设、宅基地使用等方面发挥着重要作用，对于相关违法违规建设行为，农业农村主管部门会参与认定和管理。

3. 城乡规划主管部门（城乡规划局）

   • 主要职责：负责城市规划区内违反规划建设的查处，包括未取得或未按建设工程规划许可证进行建设的行为。
   • 认定情形：在城市规划区内擅自新建、扩建、改建建筑物、构筑物等违反城乡规划的行为。
   • 法律依据：《中华人民共和国城乡规划法》第六十四条规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。

4. 乡（镇）人民政府

   • 主要职责：在乡、村庄规划区内，对未依法取得乡村建设规划许可证或未按其规定进行建设的行为进行认定和处理。
   • 认定情形：村民未经审批在宅基地上加建、在村庄公共用地上私自搭建等行为。
   • 法律依据：《中华人民共和国城乡规划法》第六十五条规定，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。

5. 城市管理执法部门（城管）

   • 主要职责：负责城市管理和行政执法工作，对未经规划许可或违反规划要求建设的建筑物进行认定和查处。
   • 认定情形：城市区域内违反规划要求的各类建设行为。
   • 法律依据：相关法律法规赋予城市管理和行政执法权力，如《城市管理执法办法》第八条规定，城市管理执法的行政处罚权范围依照法律法规和国务院有关规定确定，包括住房城乡建设领域法律法规规章规定的行政处罚权。

综合建议：

• 在面对违法建设问题时，建议首先明确违法建设的地点和性质，然后咨询当地相关部门（如自然资源主管部门、城乡规划主管部门、乡（镇）人民政府或城市管理执法部门）以获取具体的认定和处理流程。
• 同时，也提醒广大建设单位和个人在从事建设活动前，务必依法依规办理相关手续，避免产生违法建设行为。如果已经存在违法建设行为，建议积极配合相关部门的处理决定，依法履行相应义务，以减少可能的法律后果。

如有任何法律问题或需要进一步的法律建议，请随时向我咨询。