在缺乏直接证据的情况下，对交通事故肇事逃逸撞到围栏行为的处罚需分情况讨论，核心结论如下：

1. 若通过其他间接证据能形成完整证据链证明逃逸事实
   根据《道路交通安全法》第99条，造成交通事故后逃逸，尚不构成犯罪的，由公安机关交通管理部门处200元以上2000元以下罚款，可并处15日以下拘留。同时根据《道路交通安全违法行为记分管理办法》，逃逸行为将一次性记12分。
   间接证据包括但不限于：围栏损坏现场的物证（如车辆碎片、油漆痕迹）、周边监控录像（即使未直接拍到逃逸车辆，但通过时间、路线等逻辑推断）、目击证人证言（如环卫工人、附近居民）、电子数据（如ETC记录、行车记录仪数据）、鉴定意见（如车辆痕迹比对）等。若公安机关通过上述证据综合认定逃逸事实，仍可依法处罚。

2. 若完全无法证明逃逸事实
   若既无直接证据（如现场抓拍、逃逸者自认），也无间接证据形成完整证据链（如无监控、无目击者、车辆无损坏痕迹等），则公安机关可能因“证据不足”无法认定逃逸行为。此时仅能就“损坏围栏”的财产损失进行民事赔偿协商或诉讼，行政处罚缺乏依据。但需注意：若后续补充证据（如逃逸者主动投案、新发现监控等），仍可追溯处罚。

关键提醒：

• 逃逸行为的认定以“主观明知发生事故而故意离开”为核心，若驾驶人确实不知碰撞发生（如轻微剐蹭未察觉），可能不构成逃逸，但需提供行车记录仪、车辆无损坏等证据证明“不知情”。
  
• 即使无证据处罚逃逸，若损坏公共设施（如围栏），根据《民法典》第1184条，仍需承担民事赔偿责任，赔偿金额以实际损失为准（如修复费用、评估费用等）。
  

建议行动：
若您是受害方，应立即报警并保护现场（如拍照、寻找目击者），同时联系围栏管理方（如物业、市政部门）固定损失证据；若您是肇事方，建议主动投案并配合调查，避免因逃逸加重处罚。如有进一步细节，可直接向我咨询具体法律策略。