关于破坏建筑外立面由谁来管理的问题，我可以给您一个全面且详细的解答。
结论前置：破坏建筑物外立面的行为，主要涉及城市管理综合行政执法部门、住房和城乡建设部门以及规划部门（自然资源部门）的监管。这些部门会根据相关法律法规进行查处，并要求整改或拆除。
详细分析：
城市管理综合行政执法部门：
- 这个部门主要负责监管影响城市容貌和环境秩序的行为。对于擅自拆除、改动建筑物外立面装饰等破坏行为，他们有权依据相关城市管理法规进行查处，包括责令整改和处以罚款，以确保城市整体的景观风貌和整洁度。
住房和城乡建设部门：
- 住建部门负责建设工程的监督管理，建筑物外立面作为建设工程的一部分，若其破坏涉及违反建设工程规范、标准，或影响建筑结构安全和质量，住建局会介入调查和处理，以确保建筑物的安全性和合规性。
规划部门（自然资源部门）：
- 规划部门负责管理城市规划要求，确保城市建设有序进行。如果建筑物外立面的改变违反了城市规划，如与规划审批时的外观风貌不一致，规划部门有权要求恢复原状，以维护城市规划的严肃性和连续性。
特殊情况说明：
- 不同城市可能有更具体的规定。例如，在某些城市，城市管理执法部门负责建筑物外立面的户外广告、景观亮化、违法建设管理工作；而在另一些城市，则由综合行政执法部门负责查处建筑外立面的违法建设行为。
民事纠纷处理：
- 若破坏外立面的行为导致邻里纠纷等民事问题，当事人可以先向物业反映，由物业协调处理。若协调不成，可以通过民事诉讼等法律途径解决，以维护自身合法权益。
总结：
破坏建筑物外立面的行为涉及多个政府部门的监管，且不同城市可能有具体的管理规定。因此，在发现此类行为时，应向当地相关部门报告，他们会根据具体情况依法进行处理。同时，若涉及民事纠纷，当事人也可通过合法途径寻求解决方案。如果您在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。