夜间施工噪音主要由城管部门、环保部门和公安机关共同管理。以下是具体的管理职责和居民应对措施：
城管部门的管理职责：
- 城管部门在很多地区负责对社会生活噪声污染和建筑施工噪声污染进行监督管理。若夜间施工未办理夜间施工许可，或施工过程中产生的噪音超过规定标准，城管部门有权对施工单位进行查处，包括责令停止违法行为、限期整改，并根据情节轻重处以罚款。
环保部门的管理职责：
- 环保部门对环境噪声污染防治实施统一监督管理，负责监测施工场地的噪声水平。若施工噪音违反国家规定的环境噪声排放标准，环保部门可依法对施工单位作出处罚，要求施工单位采取降噪措施，确保噪音达标排放。
公安机关的介入条件：
- 虽然夜间施工噪音主要不由公安机关直接管理，但若施工噪音严重影响居民生活秩序，如造成居民无法正常休息、学习等，公安机关也可介入处理。对于在城市市区噪声敏感建筑物集中区域内使用高音广播喇叭，或在公共场所组织活动产生过大音量等行为，公安机关有权给予警告并处罚款。
居民应对措施：
沟通协商：在遇到夜间施工噪音扰民时，居民应首先尝试与施工方进行沟通协商，看是否能够降低噪声或调整施工时间。这是最直接且成本最低的解决方式。
投诉举报：若沟通无果，居民可根据当地的法律法规和投诉机制，向城管部门（一般是12319）、环保部门（12369）或公安机关进行投诉举报。在投诉时，应详细说明噪音来源、时间、频率以及对生活造成的影响，并提供相关证据，如录音、录像等，以便相关部门进行调查核实。
法律途径：如果问题未得到妥善解决，居民还可以考虑通过法律途径维护自己的合法权益。根据《中华人民共和国环境噪声污染防治法》的相关规定，受到环境噪声污染危害的单位和个人，有权要求加害人排除危害；造成损失的，依法赔偿损失。居民可以向人民法院起诉，要求施工单位承担相应的法律责任。
法律依据：
- 《中华人民共和国环境噪声污染防治法》第五十六条：建筑施工单位违反本法第三十条第一款的规定，在城市市区噪声敏感建筑的集中区域内，夜间进行禁止进行的产生环境噪声污染的建筑施工作业的，由工程所在地县级以上地方人民政府环境保护行政主管部门责令改正，可以并处罚款。
- 《中华人民共和国治安管理处罚法》第五十八条：违反关于社会生活噪声污染防治的法律规定，制造噪声干扰他人正常生活的，处警告；警告后不改正的，处二百元以上五百元以下罚款。
综上所述，夜间施工噪音扰民问题涉及多个部门和法律法规的协同处理。居民在遭遇此类问题时，应了解相关法律法规和投诉机制，积极与相关部门沟通协作，以维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。