针对您提出的“晚上施工噪音扰民归哪个部门管”的问题，这是一个涉及多个部门协同管理的事项，主要由城管部门、生态环境部门和公安机关共同负责。以下是对各部门管理职责的详细解释以及居民在遇到此类问题时应采取的应对措施：

一、各部门管理职责

1. 城管部门：

   • 城管部门负责对社会生活噪声污染和建筑施工噪声污染进行监督管理。
   • 若晚上施工未办理夜间施工许可，或施工过程中产生的噪音超过规定标准，城管部门有权对施工单位进行查处，包括责令停止违法行为、限期整改，并根据情节轻重处以罚款。

2. 生态环境部门：

   • 生态环境部门对环境噪声污染防治实施统一监督管理，负责监测施工场地的噪声水平。
   • 若施工噪音违反国家规定的环境噪声排放标准，生态环境部门将依法对施工单位进行处罚，并要求其采取降噪措施，确保噪音达标排放。
   • 居民可通过拨打“12369”环保举报热线，向生态环境部门检举和控告造成环境噪声污染的单位和个人。

3. 公安机关：

   • 虽然晚上施工噪音主要不由公安机关直接管理，但若施工噪音严重影响居民生活秩序，或引发治安问题（如居民与施工方发生冲突），公安机关将介入处理。
   • 根据《中华人民共和国治安管理处罚法》，若违反关于社会生活噪声污染防治的法律规定，制造噪声干扰他人正常生活，公安机关有权给予警告；警告后不改正的，将处二百元以上五百元以下罚款。

二、居民应对措施

1. 保留证据：

   • 在遇到晚上施工噪音扰民时，建议您首先保留相关证据，如录音、视频等，以便后续向相关部门投诉时提供有力支持。

2. 向施工单位提出请求：

   • 居民可先向施工单位提出请求，要求其降低噪音或停止施工。若施工单位配合，问题可能得到迅速解决。

3. 向相关部门投诉：

   • 若施工单位不配合，居民可根据具体情况，选择向城管部门（一般拨打12319）、生态环境部门（拨打12369）或公安机关（拨打110）进行投诉。
   • 在投诉时，请提供详细的施工地点、时间、噪音情况以及您的联系方式，以便相关部门及时调查处理。

4. 寻求法律援助：

   • 如需进一步了解维权细节或寻求法律援助，建议咨询专业的律师或法律机构，以确保您的合法权益得到有效保护。

综上所述，晚上施工噪音扰民问题涉及多个部门的共同管辖和协作。居民在遭遇此类问题时，应了解各部门的职责范围，并采取正确的应对措施，以有效维护自身的合法权益和生活环境。