单位司机撞坏工地抬杆的责任归属问题，需根据具体情况来分析，但通常涉及以下几个方面的责任主体：
司机个人责任：
- 如果司机在执行工作任务时，因个人疏忽或故意行为导致撞坏工地抬杆，且该行为超出了其正常的工作范围或违反了交通规则，那么司机个人可能需要承担一定的赔偿责任。这主要基于侵权责任原则，即因过错侵害他人民事权益，应当承担侵权责任。
单位责任：
- 根据《民法典》的相关规定，用人单位的工作人员因执行工作任务造成他人损害的，由用人单位承担侵权责任。因此，如果司机是在执行单位指派的工作任务时撞坏工地抬杆，且该行为属于正常工作范围内的活动，那么单位应当承担赔偿责任。单位在承担赔偿责任后，如果认为司机存在过错，可以依据内部规章制度向司机追偿。
工地管理方责任：
- 如果工地抬杆的设置、维护或管理存在瑕疵，如抬杆设置不合理、未设置明显的警示标志、维护不及时等，导致司机在正常行驶过程中难以避免地撞坏抬杆，那么工地管理方也可能需要承担一定的责任。这主要基于安全保障义务原则，即公共场所的管理人或者群众性活动的组织者，未尽到安全保障义务，造成他人损害的，应当承担侵权责任。
具体责任划分建议：
- 收集证据：首先，需要收集相关证据，包括事故现场的照片、视频、证人证言、司机的驾驶记录、单位的工作安排记录等，以证明事故发生的经过和原因。
- 协商处理：在收集到足够证据后，可以尝试与单位、司机和工地管理方进行协商，根据各自的过错程度和责任大小，协商确定赔偿责任的划分和赔偿金额。
- 法律途径：如果协商不成，可以通过法律途径解决纠纷。可以向法院提起诉讼，要求相关责任方承担赔偿责任。在诉讼过程中，需要提供充分的证据证明自己的主张，并接受法院的调解或判决。
后续行动建议：
- 加强安全管理：单位应加强对司机的安全教育和培训，提高司机的安全意识和驾驶技能，减少类似事故的发生。同时，工地管理方也应加强对工地设施的维护和管理，确保设施的安全性和可靠性。
- 完善内部制度：单位可以制定完善的内部规章制度，明确司机在执行工作任务时的行为规范和责任承担方式，以便在发生类似事故时能够迅速、公正地处理纠纷。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供更详细、更专业的法律建议。