针对您提出的“中午时间工地施工噪音扰民归哪个部门管”的问题，这确实是一个涉及多个管理部门职责的议题。为了给您提供清晰、详细且具有深度的解答，我将结合相关法律法规和部门职责，为您详细阐述。
结论前置：中午时间工地施工噪音扰民问题，居民可根据具体情况向生态环境部门、城市管理部门（或综合执法部门）、公安机关以及小区物业或房管部门进行投诉。
各部门职责与处理方式：
生态环境部门：
- 职责：依据《中华人民共和国环境噪声污染防治法》，生态环境部门对环境噪声污染防治实施统一监督管理。这包括对工地施工噪音的监测和管理，特别是当噪音超过国家规定的环境噪声排放标准时。
- 处理方式：若工地施工噪音超标或未取得相关施工许可而擅自施工，生态环境部门有权责令施工单位改正、给予警告或处以罚款。
城市管理部门（或综合执法部门）：
- 职责：在许多地区，城市管理部门或综合执法部门负责对社会生活噪声污染和建筑施工噪声污染进行监督管理。这包括对工地施工行为的规范和管理，特别是当施工行为违反城市管理规定时。
- 处理方式：城市管理部门可对不规范施工行为进行劝导、制止，并依法作出相应处罚，如责令停工整改、罚款等。
公安机关：
- 职责：公安机关负责维护公共秩序，处理扰乱公共秩序的行为。当工地施工噪音严重干扰居民正常生活，且经劝阻不改时，公安机关可介入处理。
- 处理方式：公安机关可依据治安管理处罚法等相关规定，对施工单位或相关责任人进行警告、罚款等处罚。
小区物业或房管部门：
- 职责：在住宅小区内，小区物业或房管部门负责协调解决因邻近工地施工导致的噪音问题。他们可作为居民与施工单位之间的桥梁，协助沟通并寻求解决方案。
- 处理方式：居民可向物业管理或房管部门反映情况，寻求其协助解决噪音问题。物业或房管部门可与施工单位协商，要求其采取降噪措施或调整施工时间。
建议与指导：
- 记录噪音情况：建议居民在遭遇施工噪音扰民时，详细记录噪音发生的时间、强度等信息。这些信息将有助于后续投诉或法律诉讼时提供证据。
- 选择适当部门投诉：根据噪音的具体情况和影响程度，选择向最有可能解决问题的部门进行投诉。例如，若噪音主要涉及环境噪声污染，可向生态环境部门投诉；若噪音涉及违反城市管理规定，可向城市管理部门投诉。
- 寻求法律援助：若问题难以解决或施工单位不配合，居民可考虑咨询专业律师，通过法律途径维护自身权益。
综上所述，中午时间工地施工噪音扰民问题涉及多个管理部门的职责。居民应了解各相关部门的职责与处理方式，并根据实际情况采取合适的行动来维护自己的合法权益。希望这些信息能对您有所帮助。