楼下饭店噪音扰民的问题，主要归环保部门和公安部门管理，具体取决于噪音的性质和发生时间。以下是从不同角度的详细分析：
环保部门管理：
- 法律依据：根据《中华人民共和国环境噪声污染防治法》的相关规定，环保部门负责对社会生活噪声污染的防治实施统一监督管理。这包括了对商业经营活动中产生的噪音进行监管。
- 管理范围：如果饭店的噪音是在正常营业时间内产生，且属于商业经营活动的范畴，如厨房设备噪音、顾客喧哗等，那么这类噪音问题应由环保部门负责处理。
- 处理方式：您可以向当地环保部门投诉，环保部门会派人到现场进行检测，如果噪音确实超标，会要求饭店采取降噪措施，如安装隔音设备、调整营业时间等。
公安部门管理：
- 法律依据：同样根据《中华人民共和国环境噪声污染防治法》，公安部门对社会生活噪声污染防治也有一定的管理职责，特别是在处理因噪音引发的治安案件时。
- 管理范围：如果饭店的噪音是在非正常营业时间（如深夜或凌晨）产生，且严重干扰了您的正常生活，或者噪音行为伴随着其他违法行为（如打架斗殴、寻衅滋事等），那么这类噪音问题应由公安部门负责处理。
- 处理方式：您可以向当地公安机关报警，公安机关会派人到现场进行调查处理，如果噪音行为确实违法，会依法对饭店或相关责任人进行处罚。
额外建议：
- 收集证据：在投诉或报警前，建议您先收集一些证据，如噪音的录音、录像，或者记录噪音发生的时间、频率和强度等，这些证据将有助于相关部门更准确地判断噪音是否超标，以及采取相应的处理措施。
- 协商解决：如果噪音问题不是特别严重，您也可以尝试与饭店进行协商，要求其采取降噪措施或调整营业时间等，以达成双方都能接受的解决方案。
- 法律途径：如果噪音问题持续存在且严重影响您的正常生活，您还可以考虑通过法律途径解决，如向法院提起民事诉讼，要求饭店停止侵害、排除妨碍或赔偿损失等。
希望以上分析能对您有所帮助。如果您还有其他问题或需要进一步的法律咨询，请随时向我提问。