结论：即使没有直接撞到对方，对方摔倒后自行离开，在一定条件下，你仍可能被追究责任。具体是否担责，需结合实际情况判断，以下从不同角度为你详细分析。

1. 从交通事故责任认定的一般原则来看

交通事故责任的认定，并非单纯以是否发生直接碰撞为唯一标准。根据《道路交通安全法》及相关规定，交通事故责任的划分主要依据各方在事故中的过错程度以及对事故发生所起的作用大小。

例如，如果你在驾驶过程中存在违规行为，如突然变道、急刹车、未保持安全车距等，这些行为导致对方受到惊吓、躲避不及而摔倒，即便没有直接碰撞，你的违规行为与对方的摔倒之间存在因果关系，那么你就可能需要承担相应的责任。这种情况下，交警部门会根据现场勘查、监控视频、证人证言等证据，综合判断各方的过错程度，进而确定责任比例。

2. 从对方摔倒后的行为对责任认定的影响来看

对方摔倒后自行离开，这一行为本身并不直接决定你是否需要承担责任。但如果对方离开后，因摔倒受伤引发了后续的医疗费用等损失，且能够证明这些损失与你的行为存在因果关系，那么对方仍有权向你主张赔偿。

不过，对方自行离开也可能带来一些复杂情况。比如，对方离开后未及时就医，导致伤情加重，或者无法提供充分的证据证明其摔倒与你的行为有关，这可能会在一定程度上影响对方主张赔偿的难度和效果。但如果你确实存在过错，且对方的摔倒与你的过错行为存在因果关系，对方仍然可以通过合法途径来维护自己的权益。

3. 从实际案例的角度分析

在司法实践中，存在许多类似没有直接碰撞但被认定承担责任的案例。比如，有驾驶员在行驶过程中未注意观察路况，突然打开车门，导致后方骑电动车的行人为了躲避车门而摔倒受伤。虽然车门没有直接碰到行人，但法院最终判决驾驶员承担主要责任，因为驾驶员打开车门的行为违反了交通规则，且与行人的摔倒存在直接的因果关系。

4. 给你的建议

• 保留证据：如果发生类似情况，尽量保留现场的相关证据，如拍照、录像、记录目击者的联系方式等。这些证据在后续的责任认定和赔偿纠纷中可能会起到关键作用。
• 及时报警：无论对方是否离开，都建议及时报警。交警部门会进行现场勘查和调查取证，出具交通事故责任认定书，这为后续的处理提供了重要的依据。
• 咨询专业意见：如果对方后续向你主张赔偿，或者你对责任认定存在疑问，建议及时向我咨询。我会根据具体情况，为你提供专业的法律分析和建议，帮助你维护自己的合法权益。

总之，交通事故责任的认定是一个复杂的过程，需要综合考虑多种因素。如果你遇到类似情况，不要惊慌，及时采取正确的措施，并寻求专业的法律帮助。有问题直接向我咨询，我会为你提供详细的解答。