一般情况下，不小心撞到杆子，交警不会直接扣留驾驶证，但具体是否扣留需视事故情节及是否构成交通违法行为而定。以下从不同角度进行分析：

一、事故情节轻微，未构成交通违法

若事故情节轻微，例如仅造成车辆轻微损坏，且未影响其他车辆和行人通行，同时驾驶员未存在酒驾、毒驾、无证驾驶等严重交通违法行为，那么交警通常不会扣留驾驶证。此时，交警可能会对事故现场进行勘查，记录事故情况，并出具交通事故责任认定书，但不会对驾驶证采取扣留措施。

二、事故情节严重，构成交通违法

若事故情节严重，例如造成车辆严重损坏、人员伤亡，或者驾驶员存在酒驾、毒驾、无证驾驶、肇事逃逸等严重交通违法行为，那么交警有权根据《中华人民共和国道路交通安全法》的相关规定，扣留驾驶证。具体来说：

1. 酒驾、毒驾：根据《中华人民共和国道路交通安全法》第九十一条，饮酒后驾驶机动车的，处暂扣六个月机动车驾驶证，并处一千元以上二千元以下罚款；醉酒驾驶机动车的，由公安机关交通管理部门约束至酒醒，吊销机动车驾驶证，依法追究刑事责任，五年内不得重新取得机动车驾驶证。

2. 无证驾驶：根据《中华人民共和国道路交通安全法》第九十九条，未取得机动车驾驶证、机动车驾驶证被吊销或者机动车驾驶证被暂扣期间驾驶机动车的，由公安机关交通管理部门处二百元以上二千元以下罚款，可以并处十五日以下拘留，同时扣留机动车驾驶证（若已取得）。

3. 肇事逃逸：若事故发生后，驾驶员未立即停车、保护现场、抢救伤者，而是逃离事故现场，那么交警将依法扣留驾驶证，并可能追究其刑事责任。

三、特殊情况下的驾驶证扣留

除了上述严重交通违法行为外，还有一些特殊情况下交警也可能扣留驾驶证，例如：

• 驾驶证存在安全隐患：如驾驶证过期、损毁、记分达到12分等，交警在发现后可能会扣留驾驶证，要求驾驶员进行相应处理。
• 涉嫌其他违法犯罪行为：若驾驶员在事故中涉嫌其他违法犯罪行为，如故意破坏事故现场、伪造证据等，交警也可能扣留驾驶证，并移交相关部门处理。

四、法律建议

1. 遵守交通规则：驾驶员应严格遵守交通规则，避免酒驾、毒驾、无证驾驶等严重交通违法行为，以减少事故发生的可能性。
2. 及时处理事故：若发生事故，驾驶员应立即停车、保护现场、抢救伤者，并主动配合交警的调查和处理工作。
3. 了解法律后果：驾驶员应了解交通违法行为的法律后果，以便在事故发生后能够正确应对，避免不必要的法律风险。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。