您的情况确实需要重视，首先明确结论：差点撞到人后直接离开，可能涉及交通肇事逃逸的嫌疑，但具体是否构成违法或犯罪，需根据实际情况判断。不过，无论是否构成违法，您都应立即采取补救措施，以减轻可能的法律责任和道德负担。
一、法律角度分析
交通肇事逃逸的认定：
- 根据《中华人民共和国道路交通安全法》的相关规定，交通肇事逃逸是指发生交通事故后，为逃避法律追究而逃跑的行为。您的情况中，虽然并未实际发生碰撞，但“差点撞到”也可能构成一种潜在的交通事故风险，且您直接离开的行为，若被认定为逃避可能因您的行为引发的责任（如对方因惊吓摔倒受伤等），则可能涉嫌交通肇事逃逸。不过，严格来说，真正的交通肇事逃逸通常涉及实际发生的交通事故和明确的损害后果。
可能的法律后果：
- 如果您的行为被认定为交通肇事逃逸，且未造成严重后果，您可能面临行政处罚，如罚款、拘留等。
- 如果因您的行为导致对方受伤或财产损失，且您逃逸，您可能面临更严重的刑事责任，如交通肇事罪等。
二、补救措施建议
立即返回现场或联系对方：
- 如果您还记得对方的特征或位置，应立即返回现场，查看对方是否受伤或需要帮助。
- 如果无法返回现场，应尝试通过其他方式联系对方，如通过社交媒体、警方等，表达您的歉意和愿意承担责任的态度。
主动向警方报案：
- 即使您认为没有造成实际损害，也应主动向警方报案，说明情况，并配合警方的调查。这有助于证明您的清白，并减轻可能的法律责任。
保留证据：
- 如果您有行车记录仪或其他能够记录当时情况的设备，应保留相关证据，以备不时之需。
咨询专业律师：
- 在处理此类事件时，咨询专业律师是非常重要的。我可以根据您的具体情况，为您提供更详细的法律建议和指导。
三、道德角度考量
- 无论法律如何规定，从道德角度来看，您差点撞到人后直接离开，显然是不负责任的行为。您应该意识到自己的行为可能给对方带来的惊吓和不便，并主动承担责任，表达歉意。
总之，差点撞到人后直接离开是一种不负责任且可能涉及法律责任的行为。您应立即采取补救措施，包括返回现场、联系对方、向警方报案等，并咨询专业律师以获取更详细的法律建议。如果您有任何疑问或需要进一步的帮助，请直接向我咨询。