高速公路广告牌的管理部门主要根据广告牌的设置位置和性质来确定。一般来说，高速公路沿线广告设施的管理工作由县级以上人民政府交通运输主管部门主管，具体由有关公路管理机构负责监督管理工作。这些部门会负责广告牌的布局、安全、美观以及规范有序等方面的管理。

如果广告牌设置在高速公路建筑控制区内，那么由交通运输主管部门或其委托的公路管理机构负责管理和审批。而如果广告牌设置在高速公路沿线但不在建筑控制区内，其管理可能涉及住建、林业、自然资源等部门，具体根据当地的管理权限和规定来确定。

因此，如果你对高速公路上的广告牌有管理或咨询的需求，建议首先联系当地的交通运输主管部门或公路管理机构，他们可以为你提供具体的指导和帮助。