擅自改变房屋外立面是一个涉及多重法律法规的复杂行为，其处罚措施也相应地根据不同法律法规和具体情况而有所不同。以下是对此问题的详细解答：
一、处罚主体与法律依据
县级以上地方人民政府城乡规划主管部门：
- 法律依据：根据《中华人民共和国城乡规划法》，进行建筑物外观改造需申请建设工程规划许可证。若未经批准擅自改变房屋外立面，将构成违法建设行为。
- 处罚措施：主管部门可责令停止建设，限期改正，并处以建设工程造价5%-10%的罚款；若无法改正，将限期拆除或没收实物及违法收入，并可加处罚款。
物业服务企业或业主委员会：
- 法律依据：依据《物业管理条例》，物业服务企业对违反装修和使用规定的行为应制止并报告相关部门。同时，物业服务合同也常约定不得擅自改变住宅外立面。
- 处罚措施：物业有权劝阻并要求恢复原状，若拒不改正，可依据合同约定采取暂停服务等措施，并报告行政管理部门。
县级以上地方人民政府住房和城乡建设主管部门：
- 法律依据：根据《建设工程质量管理条例》，涉及建筑主体和承重结构变动的装修工程需有设计方案，擅自施工将面临高额罚款，并承担赔偿责任。
- 处罚措施：若擅自改变房屋外立面影响房屋结构安全，将面临罚款、恢复原状及赔偿责任。
房地产行政主管部门：
- 处罚措施：除上述特定部门的处罚外，房地产行政主管部门也可能责令限期改正并罚款。逾期不改正的，可能采取冻结房产证、限制交易等强制措施。
极端情况下的刑事责任：
- 法律依据：若擅自改变房屋外立面的行为构成犯罪（如危害公共安全罪），将依法追究刑事责任。
二、具体违规行为与后果
未经批准私自扩大窗户、改变建筑外观：
未经许可改变住宅外立面颜色：
- 后果：物业有权劝阻并要求恢复原状，拒不改正者可依据合同约定采取暂停服务等措施，并报告行政管理部门。
擅自拆除住宅外立面墙体：
- 后果：可能影响房屋结构安全，将面临罚款、恢复原状及赔偿责任。
影响城市整体美观和市容秩序：
- 后果：根据《城市市容和环境卫生管理条例》，将受到责令限期改造或拆除、罚款等处罚；逾期未改造或拆除的，还可能面临强制拆除。
三、操作建议
事先咨询：
- 在进行任何房屋外立面改动前，务必咨询相关部门或专业律师，了解具体的法律规定和要求。
合规申请：
- 如需改动，应按照法定程序向城乡规划主管部门申请办理建设工程规划许可证，并确保改动不影响房屋结构和安全。
遵守规定：
- 严格遵守物业管理规定和物业服务合同约定，避免擅自改动引发不必要的法律纠纷。
综上所述，擅自改变房屋外立面是违法的，且后果严重。建议业主在改动前充分了解相关法律法规，确保合法合规。若已擅自改动，应尽快咨询相关部门并采取措施恢复原状或补办手续，以避免面临更严重的法律后果。