结论：在两人打架导致对方肋骨骨折，且没有证据证明是你的责任，同时没有第三人目击的情况下，不能直接认定是你的责任。是否承担责任需根据具体情况，结合证据和法律规定进行综合判断。以下从不同角度进行分析：
证据规则角度：
- 在法律上，证据是认定事实的基础。若没有直接证据（如视频监控、目击证人证言等）证明是你导致对方肋骨骨折，那么根据“谁主张，谁举证”的原则，对方需要承担举证不能的不利后果。即，如果对方无法提供充分证据证明是你的行为导致其受伤，那么法律上不能直接认定是你的责任。
因果关系角度：
- 即使双方发生了打架行为，也需要证明你的行为与对方肋骨骨折之间存在直接的因果关系。如果无法证明这一点，比如对方可能因其他原因（如自身疾病、意外摔倒等）导致肋骨骨折，那么你不能被认定为责任人。
过错原则角度：
- 在侵权责任中，通常遵循过错原则。即，只有当你存在过错（如故意或过失）导致对方受伤时，才需要承担责任。如果无法证明你存在过错，或者你的行为与对方受伤之间没有直接联系，那么你不应承担责任。
特殊情况考虑：
- 如果打架行为发生在特定环境（如公共场所、有监控的区域），且监控录像或其他证据能够部分还原事件经过，那么这些证据可能成为判断责任的关键。
- 另外，如果对方能够提供其他间接证据（如医疗记录、伤情鉴定等）来支持其主张，而这些证据又与你有关联，那么也可能对你的责任认定产生影响。但即便如此，也需要综合所有证据进行判断，不能仅凭单一证据就认定责任。
法律建议：
- 如果你被卷入此类纠纷，首先应保持冷静，不要与对方发生进一步冲突。
- 尽快收集并保存所有可能证明你无责的证据，如现场照片、视频监控（如果可用）、目击证人联系方式等。
- 如果对方提出索赔或报警处理，建议你积极配合调查，但同时坚持自己的无责立场，并要求对方提供充分证据证明其主张。
- 在必要时，你可以寻求专业律师的帮助，以更好地维护自己的合法权益。
可能法律后果：
- 如果最终无法证明是你的责任，那么你不需要承担任何法律责任。
- 如果对方能够提供充分证据证明是你的责任，那么你可能需要承担民事赔偿责任（如医疗费、误工费等），甚至可能面临行政处罚或刑事责任（如果行为构成犯罪的话）。但这种情况需要严格依据证据和法律规定进行判断。