违章建筑的责任确实主要由违建者承担，但具体责任主体可能因情况不同而有所差异。以下是对这一问题的详细分析：
建设单位或个人（建设者）的责任：
- 作为违章建筑的直接建造者或发起者，建设单位或个人需要承担因违法建设而产生的法律后果。这包括但不限于拆除违章建筑、缴纳罚款等。例如，如果个人未经许可在自家宅基地上搭建了违章建筑，那么该个人就需要承担相应的法律责任。
施工单位、设计单位的潜在责任：
- 如果施工单位明知是违章建筑仍然进行施工，或者未按照规划许可证的要求进行施工，导致建筑成为违章建筑，施工单位也需承担相应的法律责任。同样，设计单位如果提供的图纸违反了相关的规划和建筑规定，导致建筑最终成为违章建筑，设计单位也需要对其设计负责。
建筑物所有人的责任：
- 房屋等建筑物的所有权人对其所有物负有确保合法性的责任。即使建筑物是由他人违法建成后转移给所有权人的，所有权人在知晓或应当知晓其违章性质后，也需承担相应责任。例如，如果购买了一处已知存在违章建筑的房产，那么购买者作为新的所有权人，也需要承担配合拆除、整改等责任。
管理人的责任：
- 当建筑物存在实际管理人时，如果管理人明知是违章建筑却未采取合理措施制止、纠正或向有关部门报告，也需承担一定责任。例如，小区物业作为管理方，若未能有效阻止和上报业主的违章搭建行为，则需承担相应的管理责任。
特殊情况下的政府相关部门责任：
- 在部分特殊情况下，如果政府部门或其工作人员在审批、监管等环节存在失职、渎职等行为，导致违章建筑的产生或未能及时制止违章建筑的建设，这些政府部门及其工作人员也可能需要承担一定的法律责任。不过这种情况相对复杂，需要根据具体情况和法律规定来判断。
法律背景与建议：
- 违章建筑的管理和处置是一个涉及多个政府部门的综合性工作，包括县级以上人民政府土地行政主管部门、城乡规划主管部门、乡（镇）人民政府等。这些部门将依据相关法律法规，对不同类型的违章建筑和地点进行认定、处罚和管理。
- 对于违建者而言，应严格遵守相关法律法规，避免进行违法建设行为。如果已经存在违章建筑，应积极配合政府部门的拆除、整改等工作，以减轻法律责任。
- 对于建筑物所有人或管理人而言，应加强对建筑物的合法性审查和管理，确保建筑物符合相关规划和建筑规定。如果发现存在违章建筑，应及时向有关部门报告并配合处理。
可能法律后果：
- 违建者可能面临拆除违章建筑、缴纳罚款等法律后果。
- 施工单位、设计单位如果存在过错，也可能面临相应的法律制裁。
- 建筑物所有人或管理人如果未能履行相应责任，也可能承担一定的法律责任。
如有任何关于违章建筑责任的具体问题或需要进一步的法律帮助，请直接向我咨询。