驾驶证的管理归属问题，其实与驾驶证的核发、换领、审验等业务流程紧密相关。在我国，驾驶证是由公安机关交通管理部门进行管理的。具体来说，驾驶证的核发、换领、补领、审验以及相关的交通管理工作，均由各地的公安交警部门负责。

早期，在驾驶证管理制度尚未全面电子化和网络化的时代，驾驶证的管理主要依赖于纸质档案和实体办理。驾驶人需要亲自前往交警部门或指定的服务窗口进行各项业务的办理。而随着时间的推移，特别是互联网技术的发展，驾驶证的管理也逐渐实现了电子化和网络化。

如今，驾驶人可以通过多种渠道进行驾驶证相关业务的办理，如线上平台（如交管12123 APP、交通安全综合服务管理平台等）、自助服务设备（如车驾宝自助一体机）以及传统的窗口服务等。这些渠道的出现，不仅极大地提高了办理效率，也方便了广大驾驶人。

因此，可以说驾驶证最早是归公安机关交通管理部门管理的，并且这一管理归属至今没有改变。只是随着时代的发展和技术的进步，驾驶证的管理方式和服务渠道发生了显著的变化。