结论：撞到拦车杆后不小心离开现场，是否扣分取决于具体情况，包括事故的严重程度、是否构成逃逸以及当地交通管理部门的执法标准等。以下从不同角度进行分析：
一、事故性质与责任认定
轻微事故：如果撞到拦车杆造成的是轻微财产损失，且没有人员伤亡，根据《道路交通安全法》的相关规定，驾驶员在发生事故后应当立即停车，保护现场，并迅速报告执勤的交通警察或者公安机关交通管理部门。如果驾驶员因疏忽或不知情而离开现场，但事后主动向交通管理部门说明情况并接受处理，通常不会被认定为逃逸，因此扣分的可能性较小。
严重事故：如果撞到拦车杆导致严重财产损失或人员伤亡，驾驶员在明知发生事故的情况下离开现场，则可能构成交通肇事逃逸。根据《道路交通安全法》及其实施条例，交通肇事逃逸是严重的违法行为，不仅会被扣分（通常一次性扣12分），还可能面临吊销驾驶证、罚款甚至刑事处罚。
二、是否构成逃逸的认定
主观故意：逃逸的认定关键在于驾驶员的主观故意。如果驾驶员因害怕承担责任、逃避法律追究而故意离开现场，则构成逃逸。如果驾驶员因疏忽、不知情或紧急情况下（如送医救治伤者）离开现场，且事后主动说明情况，则通常不被认定为逃逸。
客观行为：除了主观故意外，逃逸的认定还需考虑驾驶员的客观行为。如驾驶员是否采取了必要的措施（如设置警示标志、保护现场等）以及是否及时向交通管理部门报告等。
三、当地交通管理部门的执法标准
不同地区的交通管理部门在执法过程中可能存在一定的差异。有些地区可能对轻微事故中的离开现场行为采取较为宽容的态度，而有些地区则可能严格执法，对任何形式的离开现场行为都进行扣分处罚。因此，具体是否扣分还需参考当地交通管理部门的执法标准。
四、法律建议
立即停车并保护现场：无论事故大小，驾驶员在发生事故后都应立即停车并保护现场，以避免被认定为逃逸。
及时报告交通管理部门：驾驶员应迅速报告执勤的交通警察或者公安机关交通管理部门，并配合调查处理。
主动说明情况：如果因特殊原因（如疏忽、不知情）离开现场，驾驶员应事后主动向交通管理部门说明情况并接受处理。
咨询专业律师：如果对事故责任认定或处罚有异议，驾驶员可以咨询专业律师以维护自己的合法权益。
总结：撞到拦车杆后不小心离开现场是否扣分取决于多种因素，包括事故的严重程度、是否构成逃逸以及当地交通管理部门的执法标准等。因此，驾驶员在发生事故后应立即停车并保护现场，及时报告交通管理部门，并主动说明情况以避免不必要的法律后果。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。