针对您提出的“买的房子存在违建怎么认定违法主体”的问题，以下是我为您提供的详细解答：

在认定违法建筑的主体时，我们主要依据的是相关法律法规以及实际管理情况。具体来说，违法建筑的认定主体可能涉及以下几个方面：

一、主要认定主体

1. 城乡规划主管部门

   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门负责查处。
   • 职责范围：该部门负责对违反城乡规划的建设行为进行认定和查处，包括未取得规划许可或未按规划许可要求进行的建设活动。

2. 乡、镇人民政府

   • 法律依据：依据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府负责查处。
   • 职责范围：对于在乡、村庄规划区内的违法建设行为，乡、镇人民政府有权进行认定和查处。

3. 其他相关部门

   • 在某些特殊情况下，如涉及土地违法、环境保护违法等，国土资源部门、环境保护部门等其他行政机关也可能根据各自职责对违法建筑进行认定和查处。例如，非法占用土地的行为可能由县级以上人民政府自然资源主管部门负责查处。

二、特殊情形下的认定主体

1. 授权或委托的组织

   • 根据《行政处罚法》等相关法律法规的规定，行政机关可以在其法定权限内书面委托符合一定条件的组织实施行政处罚。因此，在某些地区，城乡规划主管部门或乡、镇人民政府可能会委托特定的组织（如城市管理综合执法局）来行使违法建筑的认定和查处权。

2. 多部门联合认定

   • 对于一些复杂或跨部门的违法建筑案件，可能需要多个部门联合进行调查和认定。例如，涉及历史遗留问题、产权纠纷或重大安全隐患的违法建筑，可能需要城乡规划、国土资源、住房城乡建设、公安消防等多个部门共同参与处理。

三、实际操作建议

• 如果您发现购买的房子存在违建情况，首先可以向当地的城乡规划主管部门或乡、镇人民政府进行咨询和举报。
• 在举报时，请提供尽可能详细的违建信息，包括违建的位置、规模、建设时间等，以便相关部门能够准确地进行认定和查处。
• 如果违建情况复杂或涉及多个部门，您可以要求相关部门进行联合调查和处理。

综上所述，认定违法建筑的主体可能涉及城乡规划主管部门、乡、镇人民政府以及其他相关部门。在具体操作时，建议您根据违建的实际情况和当地的管理规定，向相关部门进行咨询和举报。希望这些解答能够对您有所帮助。