结论：根据您描述的情况，是否构成逃逸需要分情况讨论，但在未确认对方伤情、未报警且直接离开现场的情况下，存在被认定为交通肇事逃逸的风险。以下从不同角度为您详细分析：
一、交通肇事逃逸的构成要件
根据《道路交通安全法》及相关司法解释，交通肇事逃逸需同时满足两个核心条件：
- 主观上明知发生事故：即行为人意识到自己的行为与事故发生存在因果关系；
- 客观上实施逃离行为：包括未履行救助义务、未报警或未保护现场等。
结合您的案例：
- 若您明知对方因您的行为摔倒（如看到对方摔倒或听到声响），但未停车查看、未报警直接离开，可能被认定为“明知发生事故而逃离”；
- 若您完全未察觉对方摔倒（如因视线盲区、对方动作隐蔽等），则主观上缺乏逃逸故意，一般不构成逃逸。但实践中，此类情形需结合证据（如行车记录仪、证人证言）证明您确实不知情。
二、未发生碰撞是否影响逃逸认定？
不影响。交通肇事逃逸的认定不以“物理碰撞”为前提，只要您的行为与事故存在因果关系（如对方因避让您而摔倒），且您未履行法定义务即可能构成逃逸。例如：
- 您直行时闯红灯（若您存在违规行为），对方为避让您而摔倒，此时您与事故存在因果关系；
- 即使对方闯红灯，若您未履行观察义务导致对方摔倒，仍可能被认定承担部分责任，且离开现场可能构成逃逸。
三、可能面临的法律后果
行政责任：
- 若被认定为逃逸，即使未造成严重后果，也可能面临200-2000元罚款、15日以下拘留、吊销驾驶证（且终身不得重新取得）的处罚；
- 若对方受伤，您可能因逃逸承担事故全部责任。
刑事责任：
- 若对方伤情达到重伤或死亡，且您负主要以上责任，逃逸行为可能构成交通肇事罪，处3年以上7年以下有期徒刑；
- 若因逃逸导致对方未得到及时救助而死亡，可能面临7年以上有期徒刑。
四、建议措施
立即自查：
- 回忆是否看到对方摔倒、是否听到异常声响；
- 检查车辆是否有刮擦、碰撞痕迹（即使轻微也可能成为证据）。
主动处理：
- 若确认对方摔倒且可能受伤，立即返回现场或报警说明情况；
- 若已离开现场，建议尽快到交警部门说明情况，配合调查并主动承担责任（如对方无过错，可协商赔偿以减轻处罚）。
保留证据：
- 保存行车记录仪视频、现场照片、证人联系方式等；
- 若对方已报警，积极配合调查，避免被认定为“逃避责任”。
总结：交通肇事逃逸的认定关键在于主观明知和客观逃离行为。您的情况存在被认定为逃逸的风险，但具体需结合证据和细节判断。建议您根据上述建议主动处理，以降低法律风险。如有进一步疑问，可直接向我咨询。