邻居破坏你家外墙并乱搭乱建，责任主要在于你的邻居，但具体责任承担还需根据实际情况来判定。以下是从不同角度为你进行的分析：
一、法律责任角度
侵权责任：
- 根据《中华人民共和国民法典》的相关规定，不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。邻居破坏你家外墙并乱搭乱建，显然侵犯了你的财产权，你有权要求邻居停止侵害、恢复原状，并赔偿因此造成的损失。
- 如果邻居的行为给你造成了人身伤害或其他严重后果，你还可能有权要求邻居承担相应的民事赔偿责任，包括医疗费、误工费、精神损害抚慰金等。
行政责任：
- 邻居的行为可能还违反了城市规划、建设管理等相关法律法规。根据这些规定，未经批准擅自搭建建筑物、构筑物的，可能面临行政处罚，如罚款、限期拆除等。
- 你可以向当地的城市规划部门、建设管理部门或城市管理综合执法部门举报邻居的违法行为，相关部门会依法进行调查处理。
二、实际操作角度
与邻居协商：
- 在采取法律手段之前，你可以尝试与邻居进行友好协商，说明其行为对你的影响，并要求邻居停止侵害、恢复原状。如果邻居同意并采取行动，问题可能得到迅速解决。
寻求第三方调解：
- 如果协商无果，你可以考虑寻求第三方调解，如社区调解委员会、人民调解委员会等。这些机构通常具有专业的调解能力和经验，能够帮助双方达成和解协议。
提起诉讼：
- 如果调解也无果，你可以向人民法院提起诉讼，要求邻居承担侵权责任或行政责任。在诉讼过程中，你需要提供充分的证据证明邻居的违法行为以及你因此遭受的损失。
- 法院会根据事实和法律规定作出判决，要求邻居承担相应的法律责任。如果邻居不履行判决，你还可以申请强制执行。
三、注意事项
保留证据：
- 在处理此类纠纷时，保留证据至关重要。你可以拍摄照片、视频等记录邻居的违法行为以及你因此遭受的损失情况。这些证据将在协商、调解或诉讼过程中发挥重要作用。
及时行动：
- 发现邻居的违法行为后，应及时采取行动，避免损失扩大。如果拖延时间过长，可能导致证据灭失或损失难以计算等问题。
咨询专业意见：
- 在处理此类复杂纠纷时，咨询专业律师的意见是非常必要的。我可以根据你的具体情况提供针对性的法律建议和帮助，确保你的权益得到充分保护。
总结来说，邻居破坏你家外墙并乱搭乱建是违法行为，你有权要求邻居承担相应的法律责任。在处理此类纠纷时，你可以先尝试与邻居协商或寻求第三方调解；如果无果，再考虑提起诉讼。同时，保留证据、及时行动和咨询专业意见也是非常重要的。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。