结论：在未经您同意的情况下，邻居用砖建围墙，您直接拆除可能涉及违法，具体取决于多种因素。以下是从不同角度的详细分析：

1. 物权法角度：

   • 根据《中华人民共和国民法典》的相关规定，不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。邻居未经您同意建围墙，可能侵犯了您的相邻权，如通风、采光、通行等权益。
   • 若围墙确实侵犯了您的合法权益，您应首先通过协商、调解或诉讼等合法途径解决，而非直接拆除。直接拆除可能构成对邻居财产权的侵害，需要承担相应的法律责任。

2. 侵权责任法角度：

   • 如果邻居的围墙建设行为构成了对您财产权的侵害（如围墙倒塌造成您财产损失），您有权要求邻居停止侵害、排除妨碍、赔偿损失等。
   • 但在此之前，您应确保自己的行为合法，避免采取过激或违法的手段。直接拆除围墙可能被视为侵权行为，需要承担民事赔偿责任，甚至可能面临行政处罚或刑事责任（如果情节严重）。

3. 行政处罚角度：

   • 如果邻居的围墙建设违反了城乡规划、建设管理等法律法规的规定，相关部门有权对其进行处罚，并要求其拆除违法建筑。
   • 但在此情况下，您应向相关部门举报，由相关部门依法处理，而非自行拆除。自行拆除可能涉及违法拆除他人财物，需要承担相应的法律责任。

4. 实际操作建议：

   • 协商沟通：首先尝试与邻居进行友好协商，说明围墙建设对您造成的影响，寻求双方都能接受的解决方案。
   • 寻求调解：如果协商无果，可以寻求社区、居委会或人民调解委员会等第三方机构的调解帮助。
   • 法律途径：如果调解仍无法解决问题，您可以考虑通过法律途径解决，如向法院提起相邻权纠纷诉讼或侵权责任纠纷诉讼。
   • 举报违法：如果邻居的围墙建设确实违反了相关法律法规的规定，您可以向当地城乡规划、建设管理等部门举报，由相关部门依法处理。

总结与提醒：在处理此类纠纷时，请务必保持冷静和理性，避免采取过激或违法的手段。直接拆除邻居的围墙可能涉及违法，需要承担相应的法律责任。建议您通过合法途径解决纠纷，以维护自己的合法权益。如果您在此过程中有任何疑问或需要进一步的法律帮助，请随时向我咨询。