结论：邻里之间签订了房屋协议，一方不遵守时，您直接把墙拆了这一行为很可能是违法的，具体违法性及法律后果需根据实际情况判断。以下从不同角度为您详细分析：

一、协议的法律效力与违约处理

1. 协议的法律效力：

   • 邻里之间签订的房屋协议，如果内容合法、双方意思表示真实且不违反法律法规的强制性规定，那么该协议是具有法律效力的。双方都应当按照协议的约定履行各自的义务。

2. 违约处理：

   • 如果一方不遵守协议，即构成违约。另一方应当通过合法途径来维护自己的权益，比如与违约方协商、寻求调解、仲裁或者提起诉讼等，而不是直接采取拆墙等过激行为。

二、拆墙行为的法律性质

1. 财产权保护：

   • 房屋及其附属设施（包括墙体）属于不动产，受法律保护。未经权利人同意，擅自拆毁他人房屋或墙体，可能构成对他人财产权的侵害。

2. 违法行为认定：

   • 如果您拆的墙属于您自己的财产，但拆墙行为违反了与邻里之间的协议（比如协议中明确规定了墙体的使用、维护或不得拆除等条款），那么您的行为可能构成违约，需要承担违约责任。
   • 如果您拆的墙属于邻里共有的财产或者属于邻里的私有财产，那么您的行为很可能构成侵权，需要承担侵权责任，包括赔偿损失等。

三、可能的法律后果

1. 民事责任：

   • 如果您的拆墙行为被认定为违约或侵权，您可能需要承担民事责任，包括赔偿邻里因此遭受的损失、恢复原状等。

2. 行政责任：

   • 如果您的拆墙行为违反了城市规划、建设管理等相关法律法规，您还可能面临行政处罚，如罚款、责令限期改正等。

3. 刑事责任：

   • 在极端情况下，如果您的拆墙行为造成了严重后果（如人员伤亡、重大财产损失等），您还可能构成犯罪，需要承担刑事责任。

四、建议与措施

1. 协商解决：

   • 首先，建议您与邻里进行友好协商，寻求妥善解决纠纷的方式。可以尝试就协议履行、违约责任等问题进行沟通，争取达成一致意见。

2. 寻求调解或仲裁：

   • 如果协商无果，您可以考虑寻求第三方调解或仲裁机构的帮助。这些机构可以提供专业的调解或仲裁服务，帮助您和邻里解决纠纷。

3. 提起诉讼：

   • 如果调解或仲裁也无法解决问题，您可以考虑向法院提起诉讼。法院将依法审理案件，并作出公正判决。

4. 保留证据：

   • 在整个过程中，建议您保留好与邻里签订的协议、沟通记录、拆墙前后的照片或视频等证据。这些证据将有助于您在纠纷解决过程中维护自己的权益。

最后，邻里之间应当和睦相处、互相尊重。在遇到纠纷时，应当通过合法途径来解决问题，而不是采取过激行为。如果您有任何法律问题或需要进一步的法律帮助，请直接向我咨询。