您有权通过法律途径要求侵权方恢复围墙原状或赔偿损失，具体维权步骤如下：

1. 确认围墙权属及侵权事实

   • 若围墙属于您所有（如宅基地范围内自建围墙），需提供土地权属证明（如宅基地证、建房许可证）、围墙建设审批文件（如有）及现场照片/视频，证明对方擅自拆除行为违法。
     
   • 若围墙为共有部分（如小区公共围墙），需确认您是否具有管理权或使用权（如业主身份），并收集业主大会决议、物业合同等证据，证明对方行为侵犯共有权益。

2. 固定侵权证据

   • 现场取证：立即拍摄围墙拆除前后的对比照片、视频，记录拆除时间、参与人员、工具等细节。
     
   • 证人证言：寻找目击者（如邻居、路人）出具书面证言，或申请公证处对现场进行证据保全。
     
   • 沟通记录：保存与侵权方的书面沟通记录（如短信、微信、邮件），若对方承认拆除行为，可作为直接证据。

3. 选择维权路径

   • 路径一：协商调解
     向侵权方发送书面《律师函》，明确要求其限期恢复原状或赔偿损失，并附上证据材料。若对方拒绝，可申请村委会、居委会或人民调解委员会介入调解，达成书面和解协议。
     
   • 路径二：行政投诉
     若围墙涉及规划、建设合规问题（如未批先建），可向当地城管、规划部门举报对方违法拆除行为，要求行政机关查处并责令恢复。
     
   • 路径三：民事诉讼
     向法院提起财产损害赔偿纠纷或排除妨害纠纷之诉，主张对方停止侵害、恢复原状或赔偿损失（包括围墙重建费用、间接损失如安全风险增加等）。诉讼中需重点证明：
     
     • 您对围墙的合法权属；
       
     • 对方实施了拆除行为；
       
     • 拆除行为与您的损失之间存在因果关系。

4. 特殊情形处理

   • 若对方主张“围墙违法”：需核实围墙是否符合规划要求。若围墙确属违法建设，行政机关可能先责令您限期整改，此时您需先配合整改，再就合法部分损失向对方追偿。
     
   • 若涉及相邻权纠纷：如对方以“围墙影响通风、采光”为由拆除，需依据《民法典》第293-296条，证明围墙高度、位置未超出合理限度，或对方未通过合法途径（如协商、诉讼）解决争议。

行动建议：

1. 立即停止与对方的口头争执，避免冲突升级，优先固定证据；
   
2. 根据围墙权属性质，选择协商、投诉或诉讼中最优路径；
   
3. 若对证据收集或法律程序不熟悉，可随时向我咨询具体操作细节。