结论：在高速免费期间，开车不小心撞到收费站杆子后直接离开，这一行为很可能构成交通肇事逃逸，并会面临相应的法律处罚。
法律背景与解释：
交通肇事逃逸的定义：
- 根据相关法律法规，交通肇事逃逸是指发生交通事故后，为逃避法律追究而逃跑的行为。这包括但不限于逃离事故现场、不履行报警、救助伤者等法定义务。
你的行为分析：
- 在你描述的情况下，撞到收费站杆子后直接离开，显然没有履行报警、等待处理或赔偿等法定义务，这符合交通肇事逃逸的构成要件。
可能的法律后果：
- 行政处罚：根据《中华人民共和国道路交通安全法》的相关规定，交通肇事逃逸的，由公安机关交通管理部门处二百元以上二千元以下罚款，可以并处十五日以下拘留。
- 民事责任：你还需要承担因撞坏收费站杆子而产生的赔偿责任，包括修复费用、可能的其他损失等。
- 刑事责任：如果逃逸行为导致严重后果，如造成人员伤亡或重大财产损失，还可能构成交通肇事罪，面临更严厉的刑事处罚。
特殊情况考虑：
- 如果你在离开后很快意识到自己的错误，并主动返回现场或向公安机关报告，这可能会在一定程度上减轻你的法律责任。但即便如此，你仍需承担相应的行政和民事责任。
法律建议：
- 立即采取行动：如果你尚未被公安机关联系或处罚，建议你尽快主动向当地公安机关交通管理部门报告此事，并表达愿意承担相应责任的意愿。
- 积极配合调查：在调查过程中，如实陈述事实，提供相关证据，如行车记录仪视频等，以证明你的行为并非故意逃逸。
- 承担赔偿责任：与收费站管理部门协商赔偿事宜，尽快修复或赔偿被撞坏的杆子及其他损失。
后续行动建议：
- 在未来的驾驶过程中，务必遵守交通规则，注意行车安全，避免类似事故的发生。
- 如果对法律程序或赔偿事宜有疑问，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。