违法建设的认定部门主要依据具体情况和地区差异来确定，以下是详细的法律依据和认定部门说明：

1. 自然资源主管部门

   • 适用情况：主要负责处理涉及土地利用规划方面的违法建设，例如未经批准擅自占用农用地进行建设。
   • 法律依据：根据《中华人民共和国土地管理法》第七十七条，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，并可能限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。

2. 城乡规划主管部门

   • 适用情况：负责城市、镇规划区内未取得或未按建设工程规划许可证要求进行建设的行为认定与处理，包括擅自增加建筑物层数或改变用途等。
   • 法律依据：依据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设，并根据情况采取限期改正、罚款、拆除或没收实物等处罚措施。

3. 城市管理综合执法部门（城管部门）

   • 适用情况：在一些地方，城管部门被赋予了对违法建设的部分或全部查处权，特别是在城市街道、广场等公共场所的违法搭建行为。
   • 法律依据：根据《城市管理执法办法》第八条，城市管理执法的行政处罚权范围包括住房城乡建设领域法律法规规章规定的行政处罚权，这涵盖了与城市管理相关的违法建设查处。

4. 乡、镇人民政府

   • 适用情况：主要负责乡、村庄规划区内未依法取得或未按乡村建设规划许可证要求进行建设的行为认定与查处，如村民未经许可擅自扩大宅基地面积建房。
   • 法律依据：依据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。

特殊情形下的认定主体差异：

• 历史遗留问题：部分早期建设的无证房屋可能因政策调整被纳入合法化范畴，需结合当地专项整治方案确定处理方式。
• 跨区域违建：跨行政区域的违法建筑由共同上级政府指定管辖机关，以避免推诿扯皮。

建议： 在面对违法建设问题时，建议您首先明确违法建设的地点和性质，然后咨询当地相关部门（如自然资源主管部门、城乡规划主管部门、城管部门或乡、镇人民政府）以获取具体的认定和处理流程。同时，也提醒广大建设单位和个人在从事建设活动前，务必依法依规办理相关手续，避免产生违法建设行为。

如果您有具体的违法建设问题或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。