破坏房屋的惩罚主要依据破坏行为的性质、后果以及相关法律法规来确定，具体分为以下几种情况：
民事责任：
- 如果破坏行为导致房屋结构受损或影响房屋的正常使用，破坏者可能需要承担修复费用、赔偿损失等民事责任。例如，若因装修不当导致房屋承重墙受损，破坏者需负责修复并赔偿因此给业主造成的损失。
- 根据《中华人民共和国民法典》的相关规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。这意味着，如果破坏行为是由于故意或过失造成的，破坏者需承担相应的赔偿责任。
行政责任：
- 对于轻微的破坏行为，如未经允许在房屋上涂鸦、张贴广告等，可能构成违反治安管理的行为，破坏者可能面临警告、罚款等行政处罚。
- 根据《中华人民共和国治安管理处罚法》的相关规定，故意损毁公私财物的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较重的，处十日以上十五日以下拘留，可以并处一千元以下罚款。
刑事责任：
- 如果破坏行为严重到构成犯罪，如故意毁坏财物罪，破坏者可能面临刑事处罚。根据《中华人民共和国刑法》的相关规定，故意毁坏公私财物，数额较大或者有其他严重情节的，处三年以下有期徒刑、拘役或者罚金；数额巨大或者有其他特别严重情节的，处三年以上七年以下有期徒刑。
- 在实际案例中，如果破坏行为导致房屋严重受损，甚至危及公共安全，破坏者可能面临更严厉的刑事处罚。
在处理破坏房屋的行为时，还需要考虑以下因素：
- 破坏行为的性质：是故意还是过失，是个人行为还是团体行为，这些都会影响惩罚的轻重。
- 破坏后果的严重程度：房屋受损的程度、是否影响正常使用、是否危及公共安全等，都是判断惩罚轻重的重要依据。
- 相关法律法规的适用：不同的法律法规对破坏房屋的行为有不同的规定和惩罚措施，需要根据具体情况选择适用的法律条款。
建议：
- 如果您发现有人破坏您的房屋或公共房屋，首先应保护好现场，及时报警并收集相关证据。
- 在处理破坏房屋的行为时，建议咨询专业律师，以便更准确地判断行为的性质、后果以及可能面临的法律责任。
- 作为房屋的所有者或使用者，也应加强对房屋的保护意识，定期检查房屋状况，及时发现并处理潜在的安全隐患。
如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。