结论：在对方没有确凿事实证据证明你实施了故意伤害行为的情况下，不能直接认定你有罪。但最终是否构成犯罪，还需结合全案证据综合判断。以下从不同角度为你详细分析：

从证据角度分析

1. 证据的证明力要求
   • 在刑事案件中，认定犯罪需要达到“证据确实、充分”的标准。这意味着证据必须能够排除合理怀疑，形成完整的证据链，足以证明犯罪事实的发生以及犯罪行为与犯罪嫌疑人之间的关联。
   • 对方仅声称是你将其打倒导致两根骨折，但没有其他确凿证据，如现场监控视频、目击证人证言、物证（如带有你指纹的凶器等）等来佐证其说法，那么对方的陈述就属于孤证。孤证一般不能作为定案的依据，因为其真实性、可靠性无法得到充分验证，存在合理怀疑的空间。
2. 证据的收集与审查
   • 公安机关在侦查阶段会收集各种证据，包括对现场的勘查、对相关人员的询问、对伤者的伤情鉴定等。如果经过全面收集证据后，仍然无法找到能够证明你实施故意伤害行为的其他证据，那么根据“疑罪从无”的原则，就不能认定你有罪。
   • 例如，如果现场没有监控，也没有目击证人看到是你动手打人，而且对方也无法提供其他能够指向你的证据，那么在证据审查阶段，就很难认定你构成故意伤害罪。

从犯罪构成要件角度分析

1. 主观方面
   • 故意伤害罪要求行为人主观上具有伤害他人的故意。如果对方没有证据证明你有伤害他的故意，比如你没有事先的威胁、挑衅等行为，也没有在事件发生过程中表现出明显的伤害意图，那么从主观方面就难以认定你构成故意伤害罪。
   • 例如，如果你们之间是因为一些小事发生争执，在争执过程中对方不小心摔倒导致骨折，而你并没有主动去攻击他，这种情况下就很难认定你有伤害的故意。
2. 客观方面
   • 客观方面要求行为人实施了伤害他人的行为，并且该行为与伤害结果之间存在因果关系。如果对方无法证明是你实施了导致其骨折的行为，那么就不满足故意伤害罪的客观构成要件。
   • 比如，对方可能是在自己行走过程中不小心摔倒，或者是因为其他第三方的原因导致摔倒骨折，而与你无关。在这种情况下，即使对方声称是你打的，但由于缺乏客观证据支持，不能认定你构成犯罪。

后续可能的情况及建议

1. 公安机关的侦查
   • 公安机关会继续对案件进行侦查，收集更多证据。如果在这个过程中发现了能够证明你实施故意伤害行为的证据，那么案件可能会进入下一步的诉讼程序。
   • 建议：你要积极配合公安机关的调查，如实陈述事情的经过。同时，你也可以收集有利于自己的证据，如寻找可能的目击证人、提供自己不在现场的证据等。
2. 检察机关的审查起诉
   • 公安机关侦查终结后，会将案件移送检察机关审查起诉。检察机关会对案件证据进行全面审查，如果认为证据不足，不符合起诉条件，会作出不起诉的决定。
   • 建议：在这个阶段，你可以委托律师为你提供法律帮助。律师可以查阅案卷材料，了解案件情况，为你提出辩护意见，维护你的合法权益。
3. 法院的审判
   • 如果检察机关提起公诉，案件会进入法院审判阶段。法院会根据庭审情况，对证据进行质证和认证，最终作出判决。
   • 建议：在庭审过程中，你要认真听取公诉人的指控和辩护人的辩护意见，如实回答法官的提问。如果你对案件事实和法律适用有疑问，可以随时向律师咨询。

总之，在对方没有确凿证据的情况下，不能轻易认定你有罪。但刑事案件的复杂性决定了每个案件都有其独特之处，如果你还有其他疑问或需要进一步的法律帮助，可以直接向我咨询。