关于违法建设由谁负责拆除的问题，我可以为您详细解答：

违法建设主要由以下部门负责拆除：

1. 城乡规划主管部门：

   • 负责城市、镇规划区内未取得或未按建设工程规划许可证进行建设的违法建筑的拆除工作。
   • 法律依据：《中华人民共和国城乡规划法》第六十四条及第六十八条。

2. 乡、镇人民政府：

   • 负责乡、村庄规划区内未依法取得或未按乡村建设规划许可证进行建设的违法建筑的拆除工作。
   • 法律依据：《中华人民共和国城乡规划法》第六十五条。

3. 自然资源主管部门：

   • 处理非法占用土地进行建设的违法建筑，有权责令退还非法占用的土地，并限期拆除新建建筑物。
   • 法律依据：《中华人民共和国土地管理法》第七十七条。

4. 城管执法部门：

   • 在某些地区，依据地方立法或政府授权，城管执法部门具有对违法建筑的查处和拆除权。
   • 法律依据：《中华人民共和国行政处罚法》第十八条。

此外，在国有土地上房屋征收中，若未经登记的建筑被认定为违法，且当事人不申请复议或诉讼、也不搬迁的，由作出征收决定的市、县级人民政府依法申请人民法院强制执行。

拆除程序与当事人权益：

在拆除违法建筑的过程中，必须严格遵守法律程序，并确保当事人的合法权益得到保护。这包括调查取证、认定违建、作出责令限期拆除决定等步骤，同时当事人有权申请行政复议或提起行政诉讼，以确保其合法权益不受侵害。

综上所述，违法建设的拆除责任部门因具体情况而异，主要由城乡规划主管部门、乡、镇人民政府、自然资源主管部门以及城管执法部门等负责。在拆除过程中，必须遵循严格的法律程序，充分保障当事人的合法权益。如果您面临此类问题，可以直接向我咨询，我会为您提供更具体的法律建议和指导。