结论前置：无接触事故中被吓的人离开后，司机是否算肇事逃逸，需结合具体情况判断，关键在于司机是否知道或应当知道事故发生，以及是否具有逃避法律追究的故意。
详细分析：
一、属于交通肇事逃逸的情况
司机知道或应当知道事故发生：
- 在无接触事故中，即便没有直接碰撞，若司机根据当时的情形应当能够意识到事故的发生，比如看到对方因自己的驾驶行为出现紧急避让、摔倒等情况，却仍然离开现场，就可能被认定为逃逸。
- 举例：甲驾车突然变道，乙为避免与甲碰撞而紧急刹车并打方向盘，结果车辆失控侧翻。甲若通过后视镜看到了乙翻车的情况却仍然离开，就可能被认定为逃逸。
主观上具有逃避法律追究的故意：
- 如果司机离开现场是为了逃避承担事故责任、赔偿义务或接受法律处罚等，就符合逃逸的主观要件。
- 举例：丙违规掉头导致后方丁为躲避而撞到路边护栏，丙因害怕承担责任而逃离现场，体现了逃避法律追究的故意，可能被认定为逃逸。
二、不属于交通肇事逃逸的情况
确实不知情：
- 由于某些客观原因，司机无法知晓事故的发生，此时离开现场不构成逃逸。
- 举例：A车违规变道，B车为避让而撞到路边绿化带上，但A车驾驶人并未察觉，继续正常行驶离开，通常不被认定为逃逸。
有合理理由离开：
- 司机虽然知道事故发生，但因特殊原因（如突发急病）需要暂时离开现场，且有证据证明其有返回的意愿或后续主动承担责任，一般不认定为逃逸。
- 举例：发生无接触交通事故后，司机因突发急病前往医院就医，同时留下联系方式并在就医后及时联系交警部门说明情况，这种情况不认定为逃逸。
三、法律建议与提醒
- 及时停车查看：发生无接触交通事故后，建议司机先停车查看情况，确认是否造成了损害，并及时与对方当事人沟通协商或报警处理。
- 遵守交通规则：无论是否发生直接碰撞，司机都应遵守交通规则，确保行车安全，避免不必要的麻烦和法律风险。
- 保留证据：如果可能，司机应尽量保留事故现场的照片、视频等证据，以便后续处理事故时使用。
总结：无接触事故中被吓的人离开后，司机是否算肇事逃逸，需根据具体情况综合判断。司机应时刻保持警惕，确保行车安全，并在发生事故时及时采取正确措施处理。如果你有进一步的法律问题或需要更详细的法律建议，可以直接向我咨询，我会根据你的具体情况为你提供专业的法律帮助。