在工地上被别的班组的材料意外砸骨折，可通过以下途径追究对方责任：

1. 确认责任主体
   首先需明确直接侵权人（即操作材料导致事故的班组或个人）。若对方存在违规操作（如未固定材料、未设置警示标志等），则构成过错，需承担侵权责任。若工地管理方未尽到安全保障义务（如未提供安全防护设备、未组织安全培训等），可能需承担补充责任。

2. 收集关键证据
   证据是追究责任的核心，需重点收集以下材料：

   • 现场证据：事故发生时的照片、视频，记录材料倾倒的瞬间、位置及周围环境；
     
   • 证人证言：工友或目击者的书面陈述，证明对方操作违规或未尽安全义务；
     
   • 医疗记录：诊断证明、病历、医疗费发票，证明伤害程度及治疗费用；
     
   • 沟通记录：与对方或工地管理方的协商录音、聊天记录，证明对方承认过错或推诿责任。

3. 选择维权途径
   根据证据充分程度及对方态度，可选择以下方式：

   • 协商解决：直接与对方或工地管理方沟通，要求赔偿医疗费、误工费、护理费等实际损失。若对方认可责任，可签订书面赔偿协议；
     
   • 申请工伤认定：若您与工地存在劳动关系（如签订劳动合同），可向当地社保部门申请工伤认定。工伤赔偿包括医疗费、伤残补助金等，且不区分对方过错；
     
   • 提起民事诉讼：若协商无果或对方否认责任，可向法院起诉，要求对方赔偿。诉讼中需证明对方存在过错（如违规操作）且过错与伤害存在因果关系。

4. 注意事项

   • 时效性：人身损害赔偿诉讼时效为3年，自知道或应当知道权利受损之日起计算，建议尽快行动；
     
   • 伤残鉴定：若骨折影响功能，可申请司法鉴定确定伤残等级，赔偿金额将根据等级计算；
     
   • 工地特殊性：若工地未购买工伤保险，工伤赔偿可能需由管理方承担；若对方为分包方，总包方可能需承担连带责任。

行动建议：立即固定证据（如拍照、录像、保存医疗记录），与对方或管理方沟通并录音，若协商无果，尽快委托律师介入调查取证并启动法律程序。如有进一步疑问，可直接向我咨询具体操作细节。