破坏或者擅自改变房屋外观，主要违反了《中华人民共和国城乡规划法》以及《物业管理条例》中的相关规定，具体处罚部门根据违规情形和地区管理规定有所不同，但一般由城市管理行政执法部门或城乡规划主管部门负责处罚。以下是对此问题的详细分析：

一、违反的法规

1. 《中华人民共和国城乡规划法》

   • 第六十四条：未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。虽然此条款直接针对的是未取得规划许可的建设行为，但擅自改变房屋外观往往也涉及对规划的违反，因此可能间接适用。不过，更直接相关的是对房屋外观改变可能构成的“影响城乡规划”的违法行为，这通常会在地方性法规或规章中有具体体现。
   • 地方性法规或规章：许多地方会根据《城乡规划法》制定具体的实施细则或地方性法规，明确禁止擅自改变房屋外观等行为，并设定相应的处罚措施。

2. 《物业管理条例》

   • 第五十条：业主、物业服务企业不得擅自占用、挖掘物业管理区域内的道路、场地，损害业主的共同利益。虽然此条款直接针对的是物业管理区域内的道路和场地，但擅自改变房屋外观也可能损害业主的共同利益，特别是在涉及建筑外立面统一性和美观性的情况下，因此可能间接适用或由物业管理条例的相关精神延伸出处罚依据。不过，更直接的是，如果房屋外观的改变影响了小区的整体风貌或违反了业主公约，物业服务企业或业主委员会可能依据物业管理条例的相关规定要求业主恢复原状或采取其他措施。
   • 实际操作中：许多小区的业主公约或管理规约中会明确规定禁止擅自改变房屋外观，违反者可能面临物业服务企业的制止、要求恢复原状或承担违约责任等。

二、处罚部门

• 城市管理行政执法部门：在许多城市，城市管理行政执法部门（如城管局）负责查处违反城乡规划、市容市貌等规定的违法行为，包括擅自改变房屋外观。
• 城乡规划主管部门：在涉及城乡规划的具体实施和监督方面，城乡规划主管部门（如规划局）也可能对擅自改变房屋外观的行为进行查处，特别是当该行为影响到城乡规划的实施时。
• 物业服务企业或业主委员会：在物业管理区域内，如果房屋外观的改变违反了业主公约或管理规约，物业服务企业或业主委员会也有权要求业主停止违法行为、恢复原状或承担其他责任。不过，它们的权力更多是基于合同关系或业主自治原则，而非行政处罚权。

三、法律建议

• 遵守法规：业主在改变房屋外观前，应先了解并遵守相关的法律法规和业主公约，确保自己的行为合法合规。
• 咨询相关部门：如果不确定自己的行为是否合法，可以咨询当地的城乡规划主管部门或城市管理行政执法部门，获取明确的指导和建议。
• 尊重共同利益：在改变房屋外观时，应尊重小区的整体风貌和业主的共同利益，避免对他人造成不必要的困扰或损害。

如果您在房产方面还有其他疑问或需要进一步的法律帮助，请直接向我咨询。