核心前提：双方发生互殴，对方手指骨折，但无直接证据证明是你造成该伤害。

结论与处理建议：

1. 证据收集与审查：

   • 对方证据：首先，需审查对方是否有其他间接证据（如现场目击者证言、监控录像、医疗记录等）能够间接证明你的行为与对方受伤之间的关联性。若无直接证据，间接证据的充分性和关联性将成为关键。
   • 己方证据：同时，你也应积极收集对自己有利的证据，如证明自己未实施伤害行为的证人证言、现场无监控但有其他活动痕迹等，以反驳对方的指控。

2. 法律责任分析：

   • 互殴性质：互殴行为本身可能违反《治安管理处罚法》，若情节严重，还可能构成《刑法》中的故意伤害罪。但构成犯罪需满足“故意”和“伤害结果达到一定程度”（如轻伤以上）两个要件。
   • 因果关系：在对方手指骨折无直接证据证明是你所为的情况下，需严格审查伤害结果与你的行为之间是否存在法律上的因果关系。若无法证明，则你不应承担该伤害的法律责任。

3. 处理建议：

   • 协商解决：若双方均有和解意愿，可通过协商达成赔偿协议，避免法律纠纷升级。但协商前应明确自身责任范围，避免过度赔偿。
   • 法律程序：若协商不成，对方可能提起民事诉讼或报警处理。此时，你应积极应诉或配合警方调查，提供己方证据，反驳对方指控。
   • 专业咨询：鉴于法律程序的复杂性和专业性，建议你在处理过程中咨询专业律师（即向我咨询），以便更准确地评估法律风险，制定应对策略。

4. 注意事项：

   • 保持冷静：在处理此类纠纷时，保持冷静和理性至关重要，避免情绪化行为导致事态恶化。
   • 遵守法律：无论结果如何，都应遵守法律法规，不得采取非法手段解决问题。