结论：下高速不小心撞了杆子，并非简单联系工作人员配合处理没问题就可以直接走，具体需根据事故造成的后果来决定后续处理方式。
分析说明：
轻微事故，无人员伤亡和重大财产损失：
- 如果事故只是造成了轻微的财产损失，比如只是撞坏了高速出口的杆子，没有造成其他车辆或人员的损伤，且你能够与高速管理部门或相关工作人员就赔偿事宜达成一致，那么在配合处理完相关事宜（如填写事故报告、留下联系方式等）并支付了相应的赔偿费用后，通常是可以离开的。
事故造成较大财产损失或人员伤亡：
- 如果事故造成了较大的财产损失，比如撞坏了高速出口的多个设施，或者更严重的是造成了人员伤亡，那么情况就复杂多了。
- 在这种情况下，你不仅需要立即联系高速管理部门或相关工作人员，还需要报警并等待交警的到来。交警会到现场进行勘查，并出具事故责任认定书。
- 根据事故责任认定书的结果，你可能需要承担相应的赔偿责任，甚至可能面临刑事责任的追究（如果事故构成犯罪的话）。
- 在这种情况下，你不能简单地“配合处理没问题就可以走”，而是需要按照法律程序进行后续的处理，包括可能的赔偿协商、法院诉讼等。
后续行动建议：
- 立即报警并联系高速管理部门：无论事故大小，首先应该确保现场的安全，并立即报警。同时，联系高速管理部门或相关工作人员，告知他们事故的情况。
- 配合调查和处理：在交警和高速管理部门的工作人员到达现场后，积极配合他们的调查和处理工作。提供真实、准确的信息，不要隐瞒或歪曲事实。
- 保留相关证据：如果可能的话，保留一些与事故相关的证据，比如现场的照片、视频、事故报告等。这些证据可能在后续的赔偿协商或法院诉讼中起到重要的作用。
- 咨询专业律师：如果事故造成了较大的财产损失或人员伤亡，或者你对事故的责任认定有异议，那么建议咨询专业的律师。律师可以为你提供法律上的建议和帮助，保护你的合法权益。
特殊场景提醒：
- 如果你在事故中受伤或者车辆损坏严重，不要急于离开现场。在确保安全的前提下，等待救援人员的到来，并接受必要的医疗救治。
- 如果事故涉及到其他车辆或人员，尽量与他们保持冷静和理智的沟通。不要与对方发生争执或冲突，以免加重事故的后果。
法律依据：
- 根据《中华人民共和国道路交通安全法》的相关规定，发生交通事故后，当事人应当立即停车、保护现场，并迅速报告执勤的交通警察或者公安机关交通管理部门。因抢救受伤人员变动现场的，应当标明位置。乘车人、过往车辆驾驶人、过往行人应当予以协助。
- 如果事故构成犯罪，还需要根据《中华人民共和国刑法》的相关规定承担相应的刑事责任。
总之，下高速不小心撞了杆子后，不能简单地认为联系工作人员配合处理没问题就可以走。而是需要根据事故的具体情况，按照法律程序进行后续的处理。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。