违法建筑物、构筑物的认定部门主要是城乡规划主管部门、乡镇人民政府以及其他相关部门（如自然资源部门、住建部门等），其认定依据为相关的法律法规。以下是具体说明：

一、主要认定部门及依据

1. 城乡规划主管部门

   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或未按许可证规定建设的建筑，由县级以上地方人民政府城乡规划主管部门责令停止建设并作出相应处理。
   • 职责范围：该部门负责城市规划区内违法建筑的认定，包括未批先建、超面积建设等行为。

2. 乡镇人民政府

   • 法律依据：依据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可证规定建设的，由乡镇人民政府责令停止建设并限期改正。
   • 职责范围：乡镇人民政府主要针对农村集体土地上未经审批擅自搭建的建筑物、构筑物进行认定。

3. 其他相关部门

   • 自然资源部门：对涉及非法占用土地（如耕地、林地）的违建行为进行查处，依据《土地管理法》第七十七条追究法律责任。
   • 住房和城乡建设部门：参与认定违反施工许可管理规定的建设项目，例如未办理施工许可证擅自开工的工程。

二、认定流程与协作机制

1. 线索发现：相关部门通过群众举报、日常巡查、卫片执法等途径获取疑似违建信息。
2. 调查取证：现场勘查核实建筑位置、面积、用途等基础数据，调取用地审批文件、规划许可证明等材料。
3. 联合认定：对于复杂案件，需多部门协同研判，例如自然资源部门确认土地性质，城管部门评估建筑安全性。
4. 公示告知：将认定结果向社会公开，保障当事人陈述申辩权利。

三、特殊情形下的认定主体差异

• 历史遗留问题：部分早期建设的无证房屋可能因政策调整被纳入合法化范畴，需结合当地专项整治方案确定处理方式。
• 跨区域违建：跨行政区域的违法建筑由共同上级政府指定管辖机关，避免推诿扯皮。

四、法律建议

• 如果您的建筑物或构筑物被认定为违法，首先应当确认认定部门的合法性和认定程序的正当性。
• 如果您对认定结果有异议，可以依法申请行政复议或提起行政诉讼，以维护自己的合法权益。
• 在处理违法建筑问题时，建议咨询专业律师，以确保您的权益得到充分保障。

在实际操作中，不同地区的具体执行机构和流程可能略有差异。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。