在双方互殴且缺乏直接证据的情况下，案件处理会面临一定挑战，但并非无法推进，具体处理方式需结合实际情况，分情况讨论如下：

1. 尝试通过间接证据还原事实
   法律上的“证据”不仅包括直接目击者证言，还包括现场监控录像、伤情鉴定报告、物证（如沾有对方DNA的衣物、打斗工具）、双方陈述中的矛盾点、第三方间接证人（如听到争吵声的邻居）等。即使没有直接目击者，若能通过其他证据形成完整证据链，仍可认定事实。例如：若一方受伤较重，伤情鉴定可证明其遭受暴力；若现场有监控拍到双方肢体冲突前的争执，可辅助证明互殴动机。

2. 公安机关的调查职责
   根据《治安管理处罚法》第90条，公安机关办理治安案件时，对没有本人陈述但其他证据能够证明案件事实的，可以作出治安管理处罚决定。即使双方均否认互殴，若公安机关通过调查（如调取周边监控、询问附近居民、委托鉴定伤情等）收集到足够证据，仍可依法对违法行为人进行处罚（如罚款、拘留）。若证据不足，则可能不予处罚，但会记录在案。

3. 民事赔偿的举证责任
   若互殴导致人身损害，受害方提起民事诉讼要求赔偿时，需承担举证责任（《民法典》第1165条）。此时，即使没有直接证据，若能通过医疗记录、报警记录、伤情照片、证人证言等证明对方实施了侵权行为且与损害结果存在因果关系，法院仍可能支持赔偿请求。若双方均无法证明对方过错，法院可能根据公平原则，酌情分担损失（如各承担50%）。

4. 自首与认罪认罚的考量
   若一方主动向公安机关投案并如实陈述（自首），或双方在调解中承认互殴事实，这些陈述可作为证据使用。即使事后反悔，若无相反证据推翻，其自认事实仍可能被采信。因此，建议双方在处理纠纷时谨慎陈述，避免因情绪化表达导致不利后果。

温馨提示：互殴案件中，证据的收集与固定至关重要。若您或他人涉及此类纠纷，建议：

• 立即报警并保护现场（如勿清洗衣物、保留打斗痕迹）；
  
• 及时就医并保存所有医疗记录；
  
• 避免私下协商时承认过错（如“我先动手的”），此类陈述可能被认定为自认；
  
• 如有疑问，可直接向我咨询具体法律策略。