针对您提出的“县城违法建设到底归谁管”的问题，这通常涉及多个部门和机构的协同管理，具体职责划分可能因地区而异，但一般可以归纳为以下几个方面：
一、主要管理部门
综合行政执法部门：
- 在多数县城中，综合行政执法部门是查处违法建设的主要力量。他们负责依法查处未取得建设工程规划许可证或未按照许可证规定进行建设的建（构）筑物及其他设施。
- 对于正在建设的违法建筑，综合行政执法部门有权责令停建，并在必要时采取查封施工现场、强制拆除等措施。
自然资源和规划部门：
- 自然资源和规划部门负责国土空间规划的制定和实施，对违法建设行为进行认定和分类处置。
- 他们负责查处未依法获得国土空间规划、土地管理相关行政许可或未按照许可内容建设的建筑物和构筑物。
住房和城乡建设部门：
- 住房和城乡建设部门在违法建设管理中也扮演重要角色，特别是当违法建设涉及房屋结构安全、消防安全等方面时。
- 他们可能参与违法建筑的认定、处置方案的制定以及后续监管工作。
二、其他相关部门
乡镇人民政府：
- 在乡村地区，乡镇人民政府通常负责查处违法建设行为，包括责令停建、拆除等。
- 他们与上级部门（如自然资源和规划部门、综合行政执法部门）保持密切联系，共同维护乡村规划秩序。
消防救援部门：
- 当违法建设涉及消防安全时，消防救援部门会依法进行查处，确保建筑符合消防安全标准。
公安机关：
- 公安机关负责维护社会治安秩序，对阻碍国家机关工作人员依法执行公务的行为进行处置。
- 在违法建设查处过程中，如果发生暴力抗法等事件，公安机关将及时介入处理。
三、具体管理流程
发现与举报：
- 群众或相关部门发现违法建设行为后，可以向综合行政执法部门、自然资源和规划部门或乡镇人民政府举报。
认定与分类：
- 相关部门对举报的违法建设行为进行认定，根据违法性质、严重程度等因素进行分类处置。
查处与处置：
- 对于确认的违法建设行为，相关部门将依法进行查处，包括责令停建、罚款、拆除等措施。
- 对于历史形成的违法建设，可能纳入存量管理，分类分批依法依规处置。
监督与举报：
- 鼓励广大人民群众和社会各界对违法建设行为进行监督举报，共同维护良好的城市秩序和群众合法权益。
四、实例说明
以瓮安县为例，该县人民政府发布了关于整治国土空间总体规划中心城区违法建设行为的通告，明确由综合行政执法部门依法查处未取得建设工程规划许可证或未按照许可证规定进行建设的建（构）筑物及其他设施。同时，违反消防、市容环卫、物业管理、城市绿化等方面法律法规的违法行为，由相关行政主管部门依法查处。
总结：县城违法建设的管理涉及多个部门和机构，包括综合行政执法部门、自然资源和规划部门、住房和城乡建设部门、乡镇人民政府以及消防救援部门和公安机关等。各部门根据职责划分，共同维护县城的规划秩序和群众合法权益。如果您发现违法建设行为，可以向相关部门举报并配合查处工作。