针对您提出的“工地晚上噪音扰民归哪个部门管”的问题，这是一个涉及多个部门协同管理的事项。以下是我为您详细梳理的各部门职责及应对措施：

一、主要管理部门及职责

1. 生态环境部门：

   • 职责：依据《中华人民共和国环境噪声污染防治法》，生态环境部门对环境噪声污染防治实施统一监督管理，特别是针对夜间施工产生的噪声污染。
   • 处理方式：若工地施工噪音超标排放或未取得夜间施工许可擅自施工，生态环境部门有权责令改正、给予警告或处以罚款。

2. 城市管理部门（或综合执法部门）：

   • 职责：在许多地区，城市管理部门负责对社会生活噪声污染和建筑施工噪声污染进行监督管理。
   • 处理方式：对于未办理夜间施工许可或施工过程中噪音超标的工地，城市管理部门有权进行查处，包括责令停止违法行为、限期整改，并根据情节轻重处以罚款。

3. 住房和城乡建设部门：

   • 职责：该部门对建筑工地的施工活动进行监督管理，包括夜间施工审批等。
   • 处理方式：若施工单位违反建筑施工规定，如未办理夜间施工审批手续，住房和城乡建设部门可采取责令停工整改、暂扣施工许可证等措施。

4. 公安机关：

   • 职责：虽然深夜施工噪音主要不由公安机关直接管理，但若施工噪音严重影响居民生活秩序，公安机关也可介入处理。
   • 处理方式：对于严重干扰居民正常生活的施工噪音，且经劝阻不改的，公安机关可依据治安管理处罚法等相关规定进行警告、罚款等处罚。

二、居民应对措施

1. 记录噪音情况：建议居民在遭遇施工噪音扰民时，详细记录噪音发生的时间、强度等信息，以便后续投诉或法律诉讼时使用。

2. 向相关部门投诉：

   • 可向当地的生态环境部门（如环保局）投诉，反映工地施工噪音超标或未取得夜间施工许可的问题。
   • 可向城市管理部门（如城管局）投诉，反映工地未办理夜间施工许可或施工过程中噪音超标的情况。
   • 若施工噪音严重影响生活秩序，也可向公安机关报警，寻求其协助处理。

3. 寻求法律援助：若问题难以解决，居民可考虑咨询专业律师，通过法律途径维护自身权益。

三、总结与建议

工地晚上噪音扰民问题涉及多个部门的协同管理。居民在遭遇此类问题时，应了解各部门的职责范围，并根据实际情况选择合适的部门进行投诉。同时，建议居民详细记录噪音情况，以便后续处理。若问题难以解决，不妨寻求法律援助，通过法律途径维护自身合法权益。