结论：您是否需要承担责任，取决于您的行为与对方摔倒骨折之间的因果关系以及您是否存在过错。如果您的行为是导致对方摔倒骨折的直接原因，且您存在过错，那么您可能需要承担相应的法律责任。
详细分析：
因果关系：
- 在侵权责任法中，因果关系是判断侵权责任是否成立的关键因素之一。您打了对方一拳并拉扯了一下衣服，随后对方转身自己摔倒骨折。这里需要判断的是，您的行为（打拳和拉扯衣服）是否是导致对方摔倒骨折的直接原因。
- 如果对方的摔倒骨折是由于您的打拳或拉扯衣服行为直接导致的，比如因为拉扯衣服导致对方失去平衡而摔倒，那么您的行为与对方的损害结果之间就存在直接的因果关系。
- 如果对方的摔倒骨折是由于其他原因（如自己不小心、地面湿滑等）导致的，而您的行为只是间接或无关的因素，那么您的行为与对方的损害结果之间就不存在直接的因果关系。
过错原则：
- 除了因果关系外，过错也是判断侵权责任是否成立的重要因素。过错包括故意和过失两种形式。
- 如果您是故意打对方一拳并拉扯衣服，且这种行为导致了对方的摔倒骨折，那么您显然存在过错，需要承担相应的法律责任。
- 如果您是无意的（如出于玩笑或误会而拉扯衣服），但您的行为仍然导致了对方的摔倒骨折，且您应当预见这种行为可能导致的后果而未预见，或者虽然预见但轻信能够避免，那么您也可能存在过失，需要承担一定的法律责任。不过，这种情况下您的责任可能会相对较轻。
法律责任：
- 如果您的行为是导致对方摔倒骨折的直接原因，且您存在过错，那么您可能需要承担民事赔偿责任，包括赔偿对方的医疗费、护理费、误工费等经济损失。
- 在极端情况下，如果您的行为构成故意伤害罪等刑事犯罪，您还可能面临刑事责任的追究。不过，根据您描述的情况，这种可能性相对较小。
建议：
- 如果您认为自己的行为与对方的摔倒骨折之间不存在直接的因果关系，或者您不存在过错，那么您可以考虑与对方进行协商，解释清楚情况，避免不必要的法律纠纷。
- 如果对方坚持认为您需要承担责任，并可能采取法律行动，那么建议您及时咨询专业律师（即向我咨询），了解自己的权利和义务，以及可能面临的法律责任和后果。律师可以根据具体情况为您提供专业的法律意见和帮助。
后续行动：
- 在处理此类纠纷时，保持冷静和理性至关重要。避免与对方发生进一步的冲突或争执，以免加剧矛盾或导致更严重的后果。
- 收集并保留所有与纠纷相关的证据和信息，如现场照片、视频、证人证言等。这些证据和信息将有助于您在后续的法律程序中维护自己的权益。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。