核心结论取决于保险类型和责任认定情况，具体如下：

1. 若您是货车车主且购买了车损险，保险赔钱给您
   车损险的赔偿对象是投保车辆本身及其损失。当货车因碰撞导致自身受损（包括撞墙时车辆本身的损坏）时，保险公司会根据车损险条款对您的车辆维修费用进行赔偿。此时赔偿款直接支付给您（或您指定的维修机构），用于修复货车。
   例外情况：若撞墙导致第三方财产损失（如墙体修复费用），车损险不覆盖这部分赔偿，需通过其他险种或责任认定解决。

2. 若您是货车车主且购买了第三者责任险，且您被认定对墙体损坏负全责，保险赔钱给对方
   第三者责任险的赔偿对象是因您（被保险人）的过错导致的第三方人身伤害或财产损失。若货车撞墙后，交警或相关部门认定您需承担全部或部分责任，保险公司会直接向墙体所有者（或其授权方）支付赔偿款，用于修复墙体。
   关键点：赔偿金额以实际损失为限，且需您提供对方的有效损失证明（如维修发票、评估报告等）。

3. 若您是墙体所有者且货车司机负全责，您可直接向货车司机或其保险公司索赔
   作为受害方，您有权要求责任方（货车司机）赔偿墙体修复费用。若司机已购买第三者责任险，您可直接联系其保险公司协商赔偿；若未购买或保额不足，您可通过法律途径向司机追偿。
   操作建议：保留现场照片、交警责任认定书、维修报价单等证据，以便顺利索赔。

总结：保险赔给谁，核心看“谁受损”和“谁投保”。若您是货车车主，车损险赔您，第三者责任险赔对方；若您是墙体所有者，直接向责任方或其保险公司索赔。具体操作中，建议结合保险条款和责任认定结果处理，如有疑问可进一步向我咨询。