结论：在这种情况下，您不可以直接离开，否则可能面临法律风险。具体分析如下：
法律责任角度：
- 根据一般的法律原则，如果老人摔倒与您的驾驶行为存在因果关系（例如，您突然变道、急刹车等导致老人受到惊吓或避让而摔倒），那么您可能需要承担相应的法律责任。即使您认为与您的驾驶行为无关，但在没有明确证据证明老人摔倒完全由自身原因导致的情况下，直接离开可能被视为逃避责任。
- 如果老人摔倒确实与您无关，但您直接离开，而老人后续因摔倒受伤严重且无法及时得到救助，您也可能因未履行救助义务而面临一定的道德和法律上的谴责（尽管在法律上可能不直接构成责任，但会影响社会评价）。
道德义务角度：
- 从道德层面讲，无论老人摔倒是否与您有关，作为社会成员，您都有义务在确保自身安全的前提下，对摔倒的老人进行必要的救助或联系相关部门（如拨打120急救电话、报警等）。直接离开可能违背社会公德和道德准则。
实际操作建议：
- 停车观察：首先，您应该立即停车，观察老人的情况，判断是否需要紧急救助。
- 询问情况：如果老人意识清醒，可以询问其是否需要帮助，并了解摔倒的原因。
- 联系救助：如果老人受伤严重或无法自行起身，应立即拨打120急救电话，并视情况报警。
- 保留证据：在等待救助的过程中，可以尝试用手机拍摄现场照片或视频，以保留证据，证明老人摔倒与您的驾驶行为无关（如果确实无关的话）。
- 配合调查：如果相关部门到达现场进行调查，应积极配合，提供必要的陈述和证据。
特殊情况说明：
- 如果您确信老人摔倒与您的驾驶行为完全无关，且现场有其他目击者可以证明这一点，同时您也有紧急事务需要处理（如送医急救、追赶犯罪嫌疑人等），那么在确保老人得到适当救助（如已拨打120）的前提下，您可以留下联系方式并尽快离开。但这种情况非常特殊，且需要充分的证据支持。
总结与建议：
- 在遇到老人摔倒等突发情况时，应首先确保老人的安全和健康，积极履行救助义务。
- 如果不确定是否与自己的行为有关，或者担心可能面临法律责任，可以等待相关部门到达现场进行调查和处理。
- 在任何情况下，都不要直接离开现场，以免给自己带来不必要的法律风险和道德谴责。
如果您在处理此类事件时遇到任何法律问题或困惑，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。