撞到栏杆后直接离开现场，一般会被认定为肇事逃逸，并且会面临扣分的处罚，除非当事人有合理理由并能提供充分证据。以下是对此问题的详细分析：
一、是否构成肇事逃逸的判定
构成逃逸的情况：
- 根据《道路交通事故处理程序规定》第一百一十二条，“交通肇事逃逸”是指发生道路交通事故后，当事人为逃避法律追究，驾驶或者遗弃车辆逃离道路交通事故现场以及潜逃藏匿的行为。因此，如果驾驶员在明知发生了碰撞栏杆的交通事故后，为逃避法律责任追究而故意离开现场，通常会被认定为交通肇事逃逸。
不构成逃逸的情况：
- 如果驾驶员确实不知道发生了碰撞栏杆的事故而离开现场，例如因突发情况（如突发疾病）需要紧急处理而未能及时察觉事故，并且事后及时向交警部门说明情况并配合处理事故，那么可能不被认定为逃逸。但关键在于，当事人必须提供充分的证据来证明自己的合理理由和后续配合行为。
二、构成逃逸后的法律责任与后果
民事责任：
- 根据《中华人民共和国道路交通安全法实施条例》第九十二条，发生交通事故后逃逸的当事人需承担全部责任，除非有证据证明对方当事人也有过错，否则不能减轻责任。这意味着，如果撞到栏杆后逃逸，驾驶员将需要承担栏杆修复的全部费用。
行政责任：
- 依据《中华人民共和国道路交通安全法》第九十九条，造成交通事故后逃逸，尚不构成犯罪的，由公安机关交通管理部门处二百元以上二千元以下罚款，并可并处十五日以下拘留。同时，驾驶证将被扣分，一般可能扣6分至12分不等，具体扣分情况会依据事故的严重程度和逃逸的具体情节来确定。
刑事责任（虽不常见，但需知晓）：
- 若交通运输肇事后逃逸或有其他特别恶劣情节，根据《中华人民共和国刑法》第一百三十三条，将处三年以上七年以下有期徒刑。不过，这种情况通常适用于造成严重人员伤亡或重大财产损失的事故。
三、建议做法
在发生交通事故，特别是如撞到栏杆等公共设施后，不建议选择逃逸。逃逸不仅会加重法律责任，还会对个人道德和社会信用造成严重影响。正确的做法是：
- 立即停车：确保车辆不再移动，避免造成二次事故。
- 保护现场：在确保安全的前提下，尽量保护事故现场，以便交警部门调查。
- 及时报警：拨打报警电话，通知交警部门前来处理事故。
- 配合处理：与交警部门和相关管理部门积极配合，提供必要的信息和证据。
如果不小心撞到了栏杆，最正确的做法应该是按照上述步骤处理，这样不仅能避免不必要的法律麻烦，也是对自己和他人负责的表现。如果您在此过程中有任何疑问或需要进一步的法律帮助，请随时向我咨询。