面对建筑施工噪声污染问题，其归属管理主要涉及以下几个部门：

1. 生态环境部门：

   • 依据《中华人民共和国环境噪声污染防治法》，生态环境部门对环境噪声污染防治实施统一监督管理。若建筑工地在施工过程中产生的噪声超过国家规定的建筑施工场界环境噪声排放标准，生态环境部门有权依法对其进行监管和处罚。

2. 住房和城乡建设部门：

   • 该部门对建筑工程施工负有管理责任。若施工单位未按照相关规定采取有效措施控制施工噪声，影响周边居民生活，住房和城乡建设部门可依据职权要求施工单位整改，包括责令停工整改、暂扣施工许可证等措施。

3. 城市管理部门（综合执法部门）：

   • 在部分地区，城市管理部门承担对施工噪音扰民问题的管理职权，特别是对违反城市管理规定的施工行为。城市管理部门可对不规范施工行为进行劝导、制止，并依法作出相应处罚。

4. 公安机关：

   • 公安机关负责维护公共秩序，处理扰乱公共秩序的施工噪音行为。对于严重干扰居民正常生活的施工噪音，且经劝阻不改的，公安机关可依据治安管理处罚法等相关规定进行警告、罚款等处罚。

5. 小区物业或房管部门：

   • 在住宅小区内，物业或房管部门负责协调解决因邻近工地施工导致的噪音问题。受害人可向物业管理或房管部门反映情况，寻求其协助解决噪音问题。

综上所述，建筑施工噪声污染问题涉及多个部门的职责与管理。居民在遭遇施工噪音扰民时，可根据噪音的具体情况和影响，选择向最有可能解决问题的部门进行投诉，以提高处理效率。同时，建议居民在投诉时详细记录噪音发生的时间、强度等信息，以便后续处理。若问题难以解决，可直接向我咨询，我会为你提供专业的法律建议和支持。