结论：是否构成肇事逃逸，主要取决于事故的具体情况及你的行为。如果对方摔倒与你无关，且你确实不知情或无法合理察觉，那么强行离开通常不构成肇事逃逸；但如果对方摔倒与你的驾驶行为存在因果关系，或者你明知发生事故却故意离开现场，则可能构成肇事逃逸。

详细分析：

1. 肇事逃逸的定义与关键要素：

   • 肇事逃逸是指在发生交通事故后，当事人为逃避法律追究而逃离现场的行为。其关键认定要素包括：当事人明知发生了交通事故，以及为逃避法律追究而逃离现场。

2. 对方摔倒与你驾驶行为的关系：

   • 如果对方摔倒完全是由于其自身原因（如驾驶失误、车辆故障等）造成的，且与你的驾驶行为无关，同时你确实不知情或无法合理察觉事故的发生，那么在这种情况下强行离开通常不构成肇事逃逸。
   • 然而，如果对方摔倒与你的驾驶行为存在因果关系，例如因为你突然变道、急刹车等行为导致对方为了躲避而摔倒，那么即使未直接撞到对方，也可能构成肇事逃逸。因为此时你应当知道你的行为可能引发了事故，有义务停车处理。

3. 你的知情与行为：

   • 如果你明知或应当知道发生了交通事故（如通过后视镜看到对方摔倒，或者对方明确告知你发生了事故），却未停车处理而直接开走，这种行为很可能被认定为肇事逃逸。
   • 相反，如果你确实不知情或无法合理察觉事故的发生，并且没有逃避法律追究的意图，那么强行离开通常不构成肇事逃逸。但这种情况较为少见，因为通常驾驶人在事故发生后会有一定的感知。

4. 法律责任与后果：

   • 根据《中华人民共和国道路交通安全法》及相关法律法规，造成交通事故后逃逸的，根据事故的严重程度不同，逃逸者可能面临罚款、吊销驾驶证、拘留等行政处罚。
   • 如果事故造成人员重伤、死亡等严重后果，逃逸者还可能面临刑事处罚，如交通肇事罪等。

5. 建议措施：

   • 在遇到此类情况时，建议你立即停车，保护现场，并视情况报警或协商处理。即使你认为自己没有责任，也应该等待交警到来进行调查和认定。
   • 通过保留相关证据（如行车记录仪录像、目击者证言等），以便在后续的法律程序中证明自己的清白或责任。

特殊情况说明：

• 如果对方拉着你不让你走，但你确实不知情或认为事故与你无关，你可以尝试向对方解释并表明自己的立场。如果对方仍然不依不饶，你可以考虑报警处理，让交警来判定事故责任。
• 在任何情况下，都不应该采取暴力或威胁的手段来解决问题。这不仅可能加剧矛盾，还可能让你陷入更大的法律风险中。

综上所述，是否构成肇事逃逸是一个复杂的问题，需要根据具体情况进行综合判断。在面对类似情况时，请保持冷静并采取正确的应对措施。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。