结论：在对方打你导致手骨折的情况下，若被认定是你打的，这通常意味着在证据认定或事实查明环节出现了问题，导致事实认定与实际情况不符。不过，从法律角度，我们可以从多个方面来分析这种情况为何可能发生，以及你应如何应对。
一、为何可能被认定是你打的
证据不足或证据矛盾：
- 在法律程序中，证据是认定事实的基础。如果对方提供了较为充分的证据（如目击者证言、监控录像等）证明是你先动手或你也有攻击行为，而你这边缺乏有力的反驳证据，就可能导致事实认定偏向对方。
- 另外，如果双方提供的证据存在矛盾，而法院或调解机构在审查证据时认为对方的证据更具可信度，也可能导致认定结果不利于你。
自认或陈述不一致：
- 如果你在事件发生后，出于某种原因（如害怕、误解等）自认了部分或全部责任，或者在不同场合下的陈述存在不一致，这可能被对方利用作为证明你有过错的证据。
法律程序中的误解或错误：
- 在法律程序中，由于信息不对称、法律知识缺乏或程序瑕疵等原因，可能导致事实认定出现误解或错误。例如，调解员或法官可能对证据的理解存在偏差，或者对案件事实的认定过于主观。
二、你应如何应对
收集并保留证据：
- 立即收集并保留所有与事件相关的证据，包括医疗记录、照片、视频、目击者证言等。这些证据将有助于证明你的清白和对方的过错。
- 如果可能，尽量获取现场监控录像或寻找其他无利害关系的目击者，以提供更客观的证据。
寻求法律援助：
- 咨询专业律师（如我，董文宇律师，专注于合同纠纷、侵权纠纷领域），了解你的权利和义务，以及可能的法律途径和策略。
- 律师可以帮助你分析证据、准备法律文件、代表你参与法律程序等。
提出异议或上诉：
- 如果你认为事实认定存在错误或不公，可以在法律程序规定的期限内提出异议或上诉。
- 在提出异议或上诉时，你需要提供充分的证据和理由来支持你的观点，并遵循法律程序的规定。
注意法律程序中的陈述和自认：
- 在法律程序中，你的陈述和自认可能被作为证据使用。因此，在陈述事实或回答问题时，务必保持谨慎和一致，避免自相矛盾或误导法院或调解机构。
进一步思考：在处理此类侵权纠纷时，证据的收集和保留至关重要。它不仅关系到事实的认定，还直接影响到法律责任的承担。因此，我建议你尽快咨询专业律师，以便更好地了解你的权利和义务，并制定有效的法律策略来维护你的合法权益。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。