物流公司装卸货扰民的问题，通常可以由当地的综合行政执法部门或者环保部门来管理。

首先，如果你发现物流公司装卸货物的噪音影响到了你的休息或生活，你可以尝试直接联系该物流公司，向他们反映问题，并请求他们在合理的时间内进行装卸作业，尽量降低噪音对周边环境的影响。

如果物流公司未能积极响应你的请求，或者噪音问题依然存在，那么你可以向当地的综合行政执法部门或环保部门进行投诉。在投诉时，你需要提供详细的噪音发生时间、地点以及噪音的具体情况，以便执法部门能够更好地了解和处理问题。

以海口为例，市民通过12345热线反映了物流公司装卸货扰民的问题，当地的综合行政执法部门积极响应，并进行了实地走访和调查。在确认噪音扰民的事实后，执法部门对物流公司进行了警示教育，并要求他们在正常的工作时间内进行装卸作业。如果物流公司未能遵守规定，执法部门将对其进行处罚。

因此，如果你遇到了物流公司装卸货扰民的问题，可以先尝试与物流公司沟通解决；如果问题无法得到解决，再向当地的综合行政执法部门或环保部门进行投诉，以维护你的合法权益和周边环境的安静。