关于“违建到底是谁的责任”这一问题，我们可以从多个角度来分析责任主体。
一、主要责任主体
建设单位或个人（建设者）：
- 建设单位或个人是违章建筑的直接发起者和建造者，因此承担首要责任。无论是为了居住、经营还是其他目的，未经许可私自搭建都属于违法行为，需承担相应的法律后果。
施工单位：
- 如果施工单位明知是违章建筑仍然进行施工，或者未按照规划许可证的要求进行施工，导致建筑违规，施工单位也需承担法律责任。这包括被处罚款、停工整改等。
设计单位：
- 在某些情况下，设计单位也可能成为责任主体。当设计单位提供的图纸违反了相关规划和建筑规定，导致建筑成为违章建筑时，设计单位需对其设计负责。
二、其他相关责任主体
建筑物所有人：
- 建筑物所有人对其所有物负有确保合法性的责任。如果建筑物是违章建筑，所有权人在知晓或应当知晓后，需配合相关部门进行整改或拆除。
管理人：
- 如小区物业等管理方，如果明知是违章建筑却未采取合理措施制止、纠正或向有关部门报告，也需承担一定的管理责任。
相关政府部门及其工作人员（特殊情况）：
- 在部分特殊情况下，如果政府部门或其工作人员在审批、监管等环节存在失职、渎职等行为，导致违章建筑的产生或未能及时制止，这些政府部门及其工作人员也可能需要承担法律责任。
三、结论与建议
综上所述，违建的责任主体是多元的，可能涉及建设单位、施工单位、设计单位、建筑物所有人、管理人以及政府相关部门等多个方面。在处理违章建筑问题时，应全面考虑各责任主体的行为和责任，依法依规进行处理。
如果您面临违建问题或需要进一步的法律咨询，请随时向我提问。作为专业律师，我将为您提供详细的法律分析和建议。