违法建筑行为的依法认定主要由多个部门根据各自职责和权限进行，具体如下：

1. 城乡规划主管部门

   • 适用情况：主要负责城市、镇规划区内未取得或未按建设工程规划许可证要求进行建设的行为认定与处理。这包括但不限于擅自新建、扩建、改建建筑物、构筑物，以及擅自增加建筑物层数或改变用途等行为。
   • 法律依据：《中华人民共和国城乡规划法》第六十四条规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。

2. 乡镇人民政府

   • 适用情况：在乡、村庄规划区内，负责未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的行为认定与查处。例如，村民未经许可擅自扩大宅基地面积建房，或者在村庄公共用地上私自搭建等行为。
   • 法律依据：《中华人民共和国城乡规划法》第六十五条规定，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。

3. 自然资源主管部门

   • 适用情况：主要负责处理涉及土地利用规划方面的违法建设，如未经批准擅自占用农用地进行建设，或者超出批准的数量占用土地等行为。
   • 法律依据：《中华人民共和国土地管理法》第七十七条规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款。

4. 城市管理综合执法部门（城管部门）

   • 适用情况：在一些地方，城管部门被赋予了对违法建设的部分或全部查处权，特别是在城市街道、广场等公共场所的违法搭建行为。
   • 法律依据：虽然《城市管理执法办法》第八条明确了城管部门的行政处罚权范围，包括与城市管理相关的违法建设查处，但具体职责可能因地区而异，需结合当地实际情况。

综合建议：

• 在面对违法建筑认定问题时，首先需明确建筑所在的位置（城市、镇规划区还是乡、村庄规划区）以及建筑的性质（是否涉及农用地、宅基地等）。
• 根据建筑所在位置和性质，确定可能的认定部门，并查阅相关法律法规以了解具体职责和处罚措施。
• 如果对认定部门或处罚措施有疑问，建议直接向当地相关部门咨询或寻求专业法律帮助，以确保自身权益得到妥善保护。

在实际操作中，由于地区差异和具体执行机构的不同，违法建筑的认定和处理可能涉及多个部门的协作。因此，在处理此类问题时，务必保持谨慎和耐心，确保每一步都符合法律法规的要求。如果你有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。