开车撞到别人围墙后直接离开现场，这是一种非常不负责任且违法的行为，将会面临一系列严重的处理措施。以下是根据相关法律法规和实际情况，为您详细解析的处理流程和可能面临的后果：
一、法律定性
根据《中华人民共和国道路交通安全法》的相关规定，车辆驾驶人在道路上发生交通事故后，应当立即停车，保护现场，并迅速报告执勤的交通警察或者公安机关交通管理部门。如果您在撞到围墙后选择逃逸，这将构成违法行为，将受到法律的严惩。
二、具体处罚措施
行政处罚：
- 罚款：根据情节轻重，您可能会被处以200元至2000元不等的罚款。
- 记分：逃逸行为将被记12分，这意味着您的驾驶证将被暂扣，需要重新参加交通安全学习并通过考试才能恢复驾驶资格。
- 行政拘留：如果逃逸行为情节严重，如造成重大财产损失或人员伤亡后逃逸，公安机关有权对您实施行政拘留，拘留期限通常为15日以下。
刑事责任：
- 如果逃逸行为导致重伤、死亡或者使公私财产遭受重大损失，您可能面临三年以下有期徒刑或者拘役的刑事处罚。
- 在情节特别恶劣的情况下，如逃逸致人死亡，您可能被判处三年以上七年以下有期徒刑。
民事赔偿责任：
- 您需要承担因事故造成的全部经济损失，包括围墙的修复费用、可能的第三方财产损失以及人员伤亡的医疗费用等。
- 如果您的车辆投保了交强险和商业险，保险公司将在责任范围内进行赔付。但请注意，逃逸行为可能导致保险公司拒绝赔偿或仅垫付部分费用。
三、其他后果
- 吊销驾驶证：逃逸行为可能导致您的驾驶证被吊销，且在一定期限内不得重新取得驾驶证。
- 社会影响：逃逸行为不仅损害了受害者的权益，也破坏了社会的公序良俗和法治秩序。您可能会受到社会的谴责和舆论的压力。
四、建议处理流程
如果您不幸发生了此类事故，我建议您按照以下步骤处理：
- 立即停车并保护现场：开启危险报警闪光灯，设置三角警示标志，预防二次事故。
- 检查人员安全：仔细检查车内人员是否受伤，如有需要立即拨打120急救电话。
- 报警并通知保险公司：立即拨打122报警电话，向交警报告事故情况，并通知所投保的保险公司。
- 联系围墙主人：主动与围墙主人取得联系，表达歉意，并协商赔偿事宜。
- 配合调查与定损：如实向交警陈述事故经过，配合保险公司定损人员对损失进行评估。
- 支付赔偿款并监督修复：根据协商或保险理赔结果支付赔偿款，并监督围墙修复过程。
总之，开车撞到别人围墙后直接离开现场是极其不负责任且违法的行为。我强烈建议您在发生此类事故时保持冷静、诚实，并按照上述建议处理流程妥善处理事故，以最大程度保护自己和他人的合法权益。