拆除违建的责任归属需分情况讨论，具体结论如下：
一、行政机关的职责
城乡规划等相关行政部门具有对违建进行认定和查处的职责。在认定违建后，行政机关有权责令当事人限期拆除。如果当事人逾期不拆除，行政机关可以依法申请法院强制执行拆除。这是行政机关在违建管理中的法定职责，确保了违建问题能够得到及时、有效的处理。
二、房屋产权人或使用人的责任
- 自行搭建的违建：如果是房屋产权人或使用人自行搭建的违建，他们应承担拆除的义务。行政机关会责令其自行拆除，若其拒绝，同样可申请法院强制执行。这意味着，产权人或使用人不能逃避拆除违建的责任，否则将面临法律后果。
- 购房时不知情的情况：若新房主在购房时不知情存在违建，根据相关法律原则，一般不应由其承担拆除责任。因为其在交易中无过错，若让其承担，对新房主不公平。此时，新房主可向原房主追责，要求原房主承担拆除费用或赔偿因此遭受的损失。这保护了新房主的合法权益，避免了因不知情而承担不必要的责任。
- 购房时知晓违建的情况：若新房主在购房时知晓违建情况，且在交易合同中未明确约定拆除责任归属，那么新房主可能需承担拆除责任。这是因为其在明知存在违建的情况下仍完成交易，可视为接受了该房屋现状及可能面临的法律后果。这提醒购房者在购房前应充分了解房屋情况，避免因疏忽而承担责任。
- 合同中有明确约定的情况：若合同中有关于违建拆除责任的明确约定，应按照合同约定执行。若约定由原房主负责拆除，新房主无需承担责任；若约定由新房主承担，新房主则需履行拆除义务。这强调了合同在违建拆除责任归属中的重要性，双方应在合同中明确约定相关责任。
三、施工方的责任
如果违建是由施工方违规搭建的，施工方应承担拆除责任。行政机关可责令施工方拆除违建，若施工方不履行，也可通过法律途径强制其拆除。这确保了施工方不能因其违规行为而逃避责任，维护了法律的公正和权威。
法律建议：
- 对于房屋产权人或使用人而言，在装修或搭建前应充分了解相关规定，避免搭建违建而面临拆除责任。
- 对于购房者而言，在购房前应仔细核查房屋情况，包括是否存在违建等问题，并在合同中明确约定相关责任，以保护自己的合法权益。
- 若双方就违建拆除责任问题产生争议，建议通过法律途径解决，如向相关部门投诉、举报或寻求法律援助提起诉讼。
可能法律后果：
- 若违建被拆除而责任方未履行拆除义务，可能面临行政处罚或民事赔偿等法律后果。
- 若因违建导致他人损害，责任方还需承担相应的侵权责任。