撞到限高杆后离开，确实可能构成交通肇事逃逸，并且会根据具体情况面临扣分等行政处罚。以下是对此问题的详细分析：

1. 交通肇事逃逸的认定：

   • 撞掉限高杆后直接离开现场，未报警也未等待交警处理，这种行为很可能被认定为交通肇事逃逸。
   • 交通肇事逃逸不仅限于撞到人后逃离，撞坏公共设施如限高杆后逃离也同样适用。

2. 行政处罚：

   • 根据《中华人民共和国道路交通安全法》，交通肇事逃逸尚不构成犯罪的，可处二百元以上二千元以下罚款，并可并处十五日以下拘留。
   • 依据《道路交通安全违法行为记分管理办法》，撞掉限高杆后逃逸，根据事故后果的严重程度，一次可能记6分至12分。

3. 民事赔偿责任：

   • 限高杆作为公共设施，被撞损坏后，司机需承担民事赔偿责任，包括限高杆的修复或重置费用，以及因损坏导致的其他经济损失。

4. 刑事责任：

   • 若撞掉限高杆的行为造成严重后果，如他人重伤、死亡或公私财产重大损失，且司机负主要或全部责任，则可能构成交通肇事罪，将面临相应的刑事处罚。

综上所述，撞到限高杆后离开现场是极其不当的行为，不仅可能构成交通肇事逃逸，还将面临扣分、罚款、民事赔偿乃至刑事责任等多重法律后果。因此，建议司机在驾驶过程中严格遵守交通规则，一旦发生事故，应立即停车、保护现场、报警并配合调查，以依法履行自己的义务。