结论：货物撞坏限高杆一般不需要直接扣货，但需根据具体情况承担相应责任并处理后续事宜。以下是具体分析：
责任认定
- 民事责任：根据《民法典》侵权责任编，撞坏限高杆属于侵犯公私财产行为，需承担民事赔偿责任。赔偿范围包括限高杆的修复或重置费用、因事故导致的交通管制等间接损失。
- 行政责任：若限高杆属于交通设施，根据《道路交通安全法》相关规定，驾驶员可能面临警告、罚款（通常200-2000元）或暂扣驾驶证等处罚。若存在故意破坏行为，还可能涉及《治安管理处罚法》的行政拘留。
- 刑事责任：若损失金额达到故意毁坏财物罪的立案标准（通常5000元以上），或存在酒驾、逃逸等情节，可能构成刑事犯罪，需承担刑事责任。
处理流程
- 立即报警并保护现场：发生事故后，驾驶员应立即停车，开启危险报警闪光灯，设置警示标志，并拨打122报警。若限高杆属于市政设施，还需联系市政管理部门。
- 配合调查与定损：配合交警部门调查，提供驾驶证、行驶证等证件。市政管理部门或保险公司会派员定损，确定赔偿金额。
- 协商赔偿或诉讼：若责任明确，可与限高杆管理方协商赔偿；若协商不成，对方可能通过诉讼主张权利。若车辆投保了交强险或商业险，可联系保险公司理赔。
- 车辆处理：若车辆因事故受损，可联系保险公司定损维修。除非涉及刑事案件或法院查封，否则交警部门无权直接扣留货物或车辆。若需扣留，会出具《行政强制措施凭证》，并告知权利义务。
特殊情况处理
- 货物超限导致事故：若货物超限（如超高、超宽），除承担限高杆损失外，还可能因违反《道路交通安全法》被处罚。此时，货物可能因超限需卸载或转运，但非“扣货”性质。
- 逃逸或拒不赔偿：若驾驶员逃逸或拒不赔偿，管理方可能通过法院申请财产保全，查封车辆或货物。但这是司法程序后的结果，非事故发生时的直接处理措施。
建议：发生此类事故后，建议驾驶员保持冷静，立即报警并配合调查，主动协商赔偿事宜。若对责任认定或赔偿金额有异议，可申请行政复议或通过诉讼解决。如有进一步疑问，可直接向我咨询。