关于违法建筑物由谁来拆除的问题，以下是根据相关法律法规给出的详细解答：

违法建筑拆除的主体主要包括以下几类：

1. 城乡规划主管部门：

   • 在城市、镇规划区内，对于未取得或未按建设工程规划许可证进行建设的违法建筑，由县级以上地方人民政府城乡规划主管部门负责拆除。这一规定源于《中华人民共和国城乡规划法》的相关规定。

2. 乡镇人民政府：

   • 在乡、村庄规划区内，对于未依法取得或未按乡村建设规划许可证进行建设的违法建筑，由乡、镇人民政府负责拆除。这同样依据了《中华人民共和国城乡规划法》的相关条款。

3. 土地行政主管部门（自然资源主管部门）：

   • 对于非法占用土地进行建设的违法建筑，由县级以上人民政府土地行政主管部门（现多为自然资源主管部门）负责处理，可能包括责令拆除、恢复土地原状等措施。这一规定源于《中华人民共和国土地管理法》。

4. 城管执法部门：

   • 在某些地区，根据地方立法或政府授权，城市管理综合行政执法部门也具有对违法建筑的查处和拆除权。其具体职责和范围依据地方性法规、规章确定。

5. 作出房屋征收决定的市、县级人民政府：

   • 在国有土地上房屋征收过程中，对于未经登记的建筑被认定为违法且当事人不申请复议或诉讼、也不搬迁的，由作出征收决定的市、县级人民政府依法申请人民法院强制执行。

拆除程序与当事人权益保障：

在拆除违法建筑的过程中，必须严格遵守法律程序，确保当事人的合法权益得到保护。具体程序包括调查取证、认定违建、作出责令限期拆除决定等，并告知当事人相关的权利和义务。当事人对拆除决定不服的，有权依法申请行政复议或提起行政诉讼，在复议或诉讼期间，除特殊情况外，拆除行为应暂停执行。

综上所述，违法建筑的拆除主体因具体情况而异，涉及多个主管部门。在实际操作中，应根据具体情况确定拆除主体，并确保整个拆除过程符合法律法规要求，充分保障当事人的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。