结论：您不小心撞坏了高速收费站栏杆，工作人员仅留下电话就让您离开，这种情况可能涉及后续赔偿问题。建议您主动与工作人员或收费站管理部门联系，明确责任并协商赔偿事宜。以下是从不同角度为您详细分析的情况及建议：
一、责任认定
事故责任：
- 根据《中华人民共和国道路交通安全法》及相关规定，您作为驾驶员，在行驶过程中因操作不当或疏忽大意导致撞坏收费站栏杆，应承担事故的全部责任。
赔偿义务：
- 您有义务对撞坏的栏杆进行赔偿。赔偿范围通常包括栏杆的修复费用或更换费用，以及可能因事故导致的其他直接损失。
二、后续处理建议
主动联系：
- 既然工作人员已经留下了电话，建议您主动与他们联系，了解具体的赔偿流程和所需材料。这有助于您及时了解情况，避免后续产生不必要的麻烦。
协商赔偿：
- 在与收费站管理部门联系后，您可以与他们协商赔偿事宜。根据栏杆的实际损失情况，您可以提出合理的赔偿方案。如果双方能够达成一致，可以签订书面赔偿协议，明确赔偿金额和支付方式。
保留证据：
- 在处理过程中，建议您保留好相关证据，如事故现场的照片、视频、工作人员的联系方式、赔偿协议等。这些证据在后续可能产生的纠纷中将起到重要作用。
三、可能面临的法律后果
如果未及时赔偿：
- 如果您未及时与收费站管理部门联系并赔偿损失，他们可能会通过法律途径追究您的责任。这可能导致您面临法律诉讼、支付额外的诉讼费用以及可能的罚款等后果。
影响个人信用：
- 在某些情况下，未履行赔偿义务可能会影响您的个人信用记录。这可能会对您未来的贷款、信用卡申请等产生不利影响。
四、特殊情况处理
如果栏杆本身存在安全隐患：
- 如果您认为栏杆本身存在安全隐患，如设置不当、老化损坏等，导致您无法及时避让而发生事故，您可以向收费站管理部门提出异议，并要求他们承担相应的责任。但这种情况下，您仍需要提供充分的证据来支持您的主张。
如果工作人员要求不合理：
- 如果工作人员提出的赔偿要求明显不合理，如要求赔偿金额过高或要求您承担不必要的费用等，您可以拒绝并寻求法律援助或向相关部门投诉。
最后建议：建议您在处理此类事故时保持冷静和理性，主动与收费站管理部门联系并协商赔偿事宜。如果您对法律程序或赔偿标准有疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。