关于违法建设责任主体的认定，主要可以从以下几个方面进行考虑：

1. 建设单位或个人（建设者）：

   • 直接责任：建设单位或个人是违法建设的直接发起者和实施者，他们未按照相关法律法规的规定取得建设工程规划许可证或未按照许可证的规定进行建设，因此需要承担主要的法律责任。这包括但不限于拆除违法建筑、缴纳罚款等。
   • 举例说明：如某开发商在未取得建设工程规划许可证的情况下，擅自开工建设住宅楼，该开发商即为违法建设的责任主体，需承担相应的法律后果。

2. 施工单位：

   • 施工责任：如果施工单位明知是违法建设仍然进行施工，或者未按照规划许可证的要求进行施工，导致建筑成为违法建筑，施工单位也需承担相应的法律责任。这可能包括被处罚款、停工整改等。
   • 举例说明：某施工单位在明知某建筑未取得建设工程规划许可证的情况下，仍然进行施工，该施工单位即需承担施工责任，可能面临罚款等处罚。

3. 设计单位：

   • 设计责任：在某些情况下，设计单位也可能成为责任主体。当设计单位提供的图纸违反了相关的规划和建筑规定，导致建筑最终成为违法建筑时，设计单位需要对其设计负责，并可能面临相应的法律制裁。
   • 举例说明：某设计单位提供的建筑设计图纸违反了当地的建筑高度限制规定，导致建筑成为违法建筑，该设计单位即需承担设计责任。

4. 建筑物所有人：

   • 所有权责任：房屋等建筑物的所有权人对其所有物负有确保合法性的责任。即使建筑物是由他人违法建成后转移给所有权人的，所有权人在知晓或应当知晓其违法性质后，也需承担相应责任，如配合拆除、整改等。
   • 举例说明：某业主购买了一套由他人违法建设的房屋，在知晓或应当知晓该房屋为违法建筑后，该业主即需承担所有权责任，配合相关部门进行拆除或整改。

5. 管理人：

   • 管理责任：当建筑物存在实际管理人时，如果管理人明知是违法建筑却未采取合理措施制止、纠正或向有关部门报告，也需承担一定责任。例如，小区物业作为管理方，若未能有效阻止和上报业主的违章搭建行为，则需承担相应的管理责任。
   • 举例说明：某小区物业在发现业主在公共区域违法搭建后，未采取任何措施制止或上报相关部门，该物业即需承担管理责任。

6. 相关政府部门及其工作人员（特殊情况）：

   • 监管责任：在部分特殊情况下，如果政府部门或其工作人员在审批、监管等环节存在失职、渎职等行为，导致违法建筑的产生或未能及时制止违法建筑的建设，这些政府部门及其工作人员也可能需要承担一定的法律责任。不过这种情况相对复杂，需要根据具体情况和法律规定来判断。
   • 举例说明：某城乡规划主管部门工作人员在审批建设工程规划许可证时，未严格审查相关材料，导致违法建筑得以建设，该工作人员即需承担监管责任。

在认定违法建设责任主体时，应综合考虑具体案件事实和相关法律法规。不同地区的法律法规可能有所不同，且违法建设的具体情况也千差万别。因此，在处理违法建设问题时，应全面考虑各责任主体的行为和责任，依法依规进行处理。

如果您面临违法建设相关的问题或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，为您提供针对性的法律建议和帮助。