针对“人为的噪音由谁来管理”这一问题，根据《中华人民共和国噪声污染防治法》及相关规定，不同类型的噪声由不同的部门进行管理。以下是对各类噪声及其管理部门的详细解答：

1. 工业噪声：由生态环境部门负责监管。例如，工厂机器运转产生的巨大轰鸣声，若位于噪声敏感建筑物集中区域，或未采取有效措施防止工业噪声污染，将由生态环境部门进行管理和处罚。

2. 社会生活噪声：

   • 公安部门主要负责处理如邻里之间因装修、聚会等产生的干扰他人正常生活的噪声，以及在公共场所组织娱乐、集会等活动产生的过大音量行为。
   • 城市管理部门也负责部分社会生活噪声的监管，如商业经营活动中使用高音广播喇叭或采取其他持续反复发出高噪声的方法进行广告宣传的行为。
   • 文旅部门则负责文化场所如图书馆、美术馆等内部噪声的管理，以及文化娱乐商业经营者噪声的降噪措施监管。

3. 建筑施工噪声：由城市管理部门和住建部门共同监管。例如，在噪声敏感建筑物集中区域进行夜间建筑施工，或未按照规定制定噪声污染防治实施方案等，将由这两个部门进行相应的管理和处罚。

4. 交通噪声：

   • 公安部门负责监管驾驶拆除或损坏消声器、加装排气管等擅自改装的机动车轰鸣、疾驶等行为。
   • 城市管理部门负责监管城市道路养护维修单位未履行维护和保养义务，导致减振、降噪设施无法正常运行的行为。
   • 交通运输部门和公路管理部门则分别负责农村公路和国省干道公路的噪声监管，确保养护单位履行维护和保养义务，保持减振、降噪设施正常运行。

5. 其他噪声：

   • 市场监督管理部门、海关及发改委等部门负责监管噪声限制产品、淘汰设备或淘汰工艺的噪声。例如，生产、销售有噪声限制的或淘汰的设备，以及进口超过噪声限值的产品等，将由这些部门进行管理和处罚。

综上所述，人为的噪音管理涉及多个部门，具体由哪个部门管理取决于噪声的类型和来源。若您遭遇噪声扰民问题，可根据噪声的具体类型向相应的管理部门进行投诉和举报。