违法建设的违法主体认定，主要依据建设行为是否违反相关法律法规，以及具体由哪个部门负责查处和认定。以下从多个角度详细分析：
主要认定主体及职责
城乡规划主管部门：
- 适用范围：主要负责城市、镇规划区内的违法建设认定。
- 具体职责：依据《中华人民共和国城乡规划法》，对未取得建设工程规划许可证或未按照许可证规定建设的建筑物进行审查、认定，并作出相应处罚。例如，开发商超出规划许可的建筑面积和层数，将由城乡规划主管部门认定为违法建设。
乡、镇人民政府：
- 适用范围：负责乡、村庄规划区内的违法建设认定和处理。
- 具体职责：对乡村建设活动进行监督管理，对未经批准或违反乡村规划建设的建筑物进行调查核实，并依法作出认定和处理决定。如农村村民私自建设住宅，未取得乡村建设规划许可证或未按照许可证规定建设的，乡镇政府有权认定其为违法建设。
特殊情形下的认定主体
授权或委托的组织：
- 根据《行政处罚法》等相关法律法规的规定，行政机关可以在其法定权限内书面委托符合一定条件的组织实施行政处罚。因此，在某些地区，城乡规划主管部门或乡、镇人民政府可能会委托特定的组织（如城市管理综合执法局）来行使违法建筑的认定和查处权。
多部门联合认定：
- 对于一些复杂或跨部门的违法建筑案件，可能需要多个部门联合进行调查和认定。例如，涉及历史遗留问题、产权纠纷或重大安全隐患的违法建筑，可能需要城乡规划、国土资源、住房城乡建设、公安消防等多个部门共同参与处理。
认定违法建设的具体标准
- 是否取得合法手续：如建设工程规划许可证是认定建设行为合法性的重要依据。未取得该证或未按照该证规定进行建设的，通常会被认定为违法建设。
- 占用土地的性质：建设用地必须符合土地利用总体规划和城乡规划，未经批准或采取欺骗手段骗取批准，非法占用土地进行建设的，同样构成违法建设。
- 建设时间：在拆迁征收范围确定后实施的建设行为，如果未取得相关许可，也可能被认定为违法建设。
- 建筑物的位置、高度、面积等：这些因素必须符合城乡规划要求，否则也可能构成违法建设。
在实际操作中，如果发现违法建设行为，相关部门会依法进行调查取证，包括现场勘查、询问当事人、调取相关资料等，然后根据调查结果作出认定决定。如果对认定结果有异议，当事人有权申请行政复议或提起行政诉讼来维护自己的合法权益。
建议：在进行建设活动时，务必确保取得所有必要的合法手续，并严格按照规划要求进行建设，以避免不必要的法律风险。如果遇到违法建设认定或处置方面的问题，可以直接向我咨询，我会根据具体情况提供详细的法律建议。