结论前置：破坏建筑物外立面的行为，通常由城市管理综合行政执法部门、住房和城乡建设部门以及规划部门（自然资源部门）负责处理，具体管理部门可能因城市及具体情况而有所不同。
详细分析：
城市管理综合行政执法部门：
- 这类部门通常负责监管影响城市容貌和环境秩序的行为。对于擅自拆除、改动建筑物外立面装饰等破坏行为，它们有权依据相关城市管理法规进行查处，包括责令整改并处以罚款，以确保城市整体的景观风貌和整洁度。
住房和城乡建设部门：
- 住建部门负责本行政区域内建设工程的监督管理。建筑物外立面作为建设工程的一部分，若其破坏涉及违反建设工程规范、标准，或影响建筑结构安全和质量，住建部门可介入调查和处理。
规划部门（自然资源部门）：
- 规划部门负责管理城市规划要求，确保城市建设有序进行。若建筑物外立面的改变违反了城市规划，如与规划审批时的外观风貌不一致，规划部门有权要求恢复原状。
地方特定规定：
- 不同城市可能有更具体的规定来管理建筑物外立面。例如，某些城市可能由城市管理执法部门或综合行政执法部门负责建筑物外立面的户外广告、景观亮化、违法建设管理工作。因此，在具体处理时，还需参考当地的相关规定。
法律建议：
- 若您发现建筑物外立面被破坏，首先可以向当地的城市管理综合行政执法部门或住房和城乡建设部门报告，他们会根据具体情况依法进行处理。
- 若破坏行为涉及违反城市规划，您也可以向规划部门（自然资源部门）反映情况。
- 在处理过程中，若涉及民事纠纷，如邻里纠纷等，您可以先向物业反映，由物业协调处理。若协调不成，您可以通过民事诉讼等法律途径解决，以维护自身合法权益。
法律背景：
- 根据《城市市容和环境卫生管理条例》等相关法律法规，不符合城市容貌标准、环境卫生标准的建筑物或者设施，由县级以上人民政府市容环卫行政主管部门会同城市规划行政主管部门，责令责任人限期改造或者拆除；逾期未改造或者未拆除的，经县级以上人民政府批准，由县级以上人民政府市容环卫行政主管部门或者城市规划行政主管部门组织强制拆除，并可处以罚款。
可能的法律后果：
- 对于擅自改变临街建筑物外立面的违法行为，相关部门有权依法进行查处，包括责令整改、处以罚款，甚至在逾期未整改的情况下组织强制拆除。
若您遇到建筑物外立面被破坏的情况，或有其他房产方面的法律问题，都可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。