结论前置：在我国，违建的认定部门根据违建所在的地域和具体情况有所不同，主要包括城乡规划主管部门、乡（镇）人民政府、自然资源部门以及城市管理综合行政执法部门。

详细分析：

1. 城乡规划主管部门：

   • 适用范围：主要负责城市、镇规划区内的违建认定。这包括未取得建设工程规划许可证或未按许可证规定建设的行为，如市区内私自搭建的商业广告牌、违规加建的楼层等。
   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或违反许可证规定的，县级以上地方人民政府城乡规划主管部门可责令停止建设，采取改正措施或限期拆除，并处以罚款。

2. 乡、镇人民政府：

   • 适用范围：负责乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可证规定建设的违建认定和处理。这包括在农村集体土地上未经批准私自建设的住宅、养殖场等。
   • 法律依据：根据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内违规建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。

3. 自然资源部门：

   • 适用范围：涉及非法占用土地建设的违建认定和处理，如未经批准占用土地建住宅、工业厂房等。
   • 法律依据：根据《中华人民共和国土地管理法》第七十七条，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还土地，限期拆除或没收建筑物，并可处以罚款。对于农村村民非法占用土地建住宅的，由农业农村主管部门（实际执法中，自然资源部门也常参与）责令退还土地，限期拆除房屋。

4. 城市管理综合行政执法部门：

   • 适用范围：在一些地方，城市管理综合行政执法部门（城管执法局）被赋予对违建进行认定和查处的职责，通常涵盖城市规划区内违反规划建设的行为。
   • 法律依据：虽然《中华人民共和国城乡规划法》等法律并未直接规定城管执法部门为违建认定的唯一部门，但根据《中华人民共和国行政处罚法》第十八条关于相对集中行政处罚权的规定，以及各地根据相关授权制定的具体法规或规章，城管执法部门在实际执法中常承担违建认定和查处的职责。

特殊情形下的认定主体差异：

• 历史遗留问题：部分早期建设的无证房屋可能因政策调整被纳入合法化范畴，需结合当地专项整治方案确定处理方式。
• 跨区域违建：跨行政区域的违法建筑由共同上级政府指定管辖机关，避免推诿扯皮。

建议：在处理违建问题时，应首先确定违法建设的地点、性质及具体情况，然后咨询并配合相应的主管部门进行处理。由于违建问题涉及多个法律法规和政府部门，如果你对违建问题存在疑问或需要进一步的法律建议，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见。同时，公众也应增强法律意识，遵守城乡规划和土地管理等相关法律法规，避免违法建设行为的发生。