核心结论：您作为事故责任方，在对方拒绝与保险公司直接协商的情况下，仍需承担沟通协调义务，但可通过合法途径限制自身风险。以下是具体分析：

1. 责任归属与赔偿义务
   根据《民法典》第1165条，行为人因过错侵害他人民事权益的，应承担侵权责任。您驾驶车辆撞倒围墙属于过错侵权，无论对方是否与保险公司协商，您均需对围墙的实际损失承担赔偿责任。保险公司仅是基于保险合同代您履行赔偿义务，不免除您作为直接责任人的法律地位。

2. 对方拒绝协商的处理方式

   • 要求对方明确诉求：可书面询问对方拒绝协商的原因（如对保险公司定损金额不满、要求额外赔偿等），并留存沟通记录。
     
   • 引导通过保险理赔程序解决：向对方说明保险公司已介入，其有权通过正常理赔流程获得赔偿，您可协助提供保险单、事故认定书等材料。
     
   • 固定损失证据：若对方坚持自行修复围墙，应要求其提供维修发票、施工合同、围墙原价值证明（如房产证附图、村委会证明）等，避免后续对赔偿金额产生争议。

3. 潜在风险防范

   • 避免直接垫付费用：若对方要求您先行赔偿，需谨慎处理。建议明确告知其应先与保险公司协商，或通过诉讼/调解确定赔偿金额后再支付，防止保险公司以“已实际赔付”为由拒赔。
     
   • 警惕过度索赔：若对方提出与围墙实际价值不符的赔偿要求（如要求赔偿“风水损失”“精神损害”等），可明确拒绝并告知其法律上仅支持直接经济损失（修复费用或围墙重置成本）。
     
   • 保留事故证据：确保交警出具的《事故责任认定书》、现场照片、保险公司定损报告等材料完整，以备后续争议时使用。

4. 协商僵局的解决途径
   若对方坚持不与保险公司沟通且索赔要求不合理，您可：

   • 申请第三方调解：通过当地人民调解委员会、交警部门或保险行业协会组织调解，降低诉讼成本。
     
   • 等待对方起诉：若调解无果，对方可能直接起诉您和保险公司。此时保险公司将作为共同被告参与诉讼，法院会根据证据判决实际赔偿金额，您无需过度担忧。

行动建议：

1. 再次与对方沟通，明确告知其保险公司已介入，要求其配合提供理赔所需材料；
   
2. 若对方仍拒绝，可书面告知其“若未在X日内提供理赔材料，将视为放弃通过保险理赔，后续需通过诉讼解决”；
   
3. 全程保持冷静，避免与对方发生冲突，所有沟通留存书面记录。
   

如有进一步疑问（如对方索赔金额过高如何应对、保险公司拒赔怎么办等），可直接向我咨询，我会结合具体证据为您分析。