公路两侧违建的管理责任主要归属于当地的城乡规划主管部门或城市管理综合行政执法部门，具体取决于违建的性质和所在区域。以下是对这一问题的详细分析：
一、管理责任主体
城乡规划主管部门：
- 根据《中华人民共和国城乡规划法》的相关规定，城乡规划主管部门负责城乡规划的制定、实施、修改、监督检查以及城乡建设活动中的违法建设行为的查处。
- 在公路两侧，如果违建行为违反了城乡规划，如未经批准擅自建设、超出规划许可范围建设等，城乡规划主管部门有权进行查处，并责令停止建设、限期改正或拆除。
城市管理综合行政执法部门：
- 在一些地区，城市管理综合行政执法部门（也称为城管部门）负责城市管理方面的综合执法工作，包括查处违法建设行为。
- 如果公路两侧的违建行为属于城市管理范畴，如未经批准擅自搭建临时建筑、广告牌等，城市管理综合行政执法部门有权进行查处。
二、不同情况下的管理责任
公路用地范围内的违建：
- 如果违建行为发生在公路用地范围内，即公路两侧边沟（截水沟、坡脚护坡道）外缘起不少于一米的区域，那么管理责任可能还涉及到公路管理部门。
- 公路管理部门有权对公路用地范围内的违法建设行为进行查处，以保护公路的安全和畅通。
农村地区的违建：
- 在农村地区，如果违建行为违反了乡村规划或土地管理法规，那么管理责任可能还涉及到乡镇人民政府或自然资源主管部门。
- 乡镇人民政府有权对乡村规划范围内的违法建设行为进行查处，而自然资源主管部门则负责土地资源的保护和合理利用，对违法占用土地进行建设的行为进行查处。
三、法律建议
了解当地法规：
- 由于不同地区的法规可能存在差异，因此建议首先了解当地关于公路两侧违建管理的具体法规和政策。
确认违建性质：
- 在采取任何行动之前，应确认违建的性质和所在区域，以便确定正确的管理责任主体。
合法合规建设：
- 在进行任何建设活动之前，应确保获得必要的批准和许可，并遵守相关的城乡规划和土地管理法规，以避免违法建设行为的发生。
及时咨询与处理：
- 如果发现公路两侧存在违建行为，应及时向当地城乡规划主管部门、城市管理综合行政执法部门或公路管理部门报告，并配合相关部门进行查处工作。
若您遇到公路两侧违建相关的问题，或有任何关于房产方面的法律疑问，可以直接向我咨询。我将根据您的具体情况，提供专业的法律意见和帮助。