面对夜班时工厂噪音扰民的问题，您可以按照以下步骤来处理，以维护自身合法权益并寻求有效解决方案：
一、初步沟通与协商
首先，建议您尝试与工厂负责人进行友好沟通。明确表达夜班噪音对您正常生活的干扰，并请求工厂采取相应措施减少噪音，比如调整生产时间、安装降噪设备或进行其他降噪处理。这种方式直接且温和，若工厂能够积极配合，往往能迅速解决问题。
二、向相关部门投诉
若与工厂协商无果，您可以向以下部门进行投诉：
生态环境部门：
- 投诉方式：您可以拨打当地生态环境部门的投诉举报电话12369，或者通过其官方网站、网上投诉举报平台提交投诉信息。
- 法律依据：根据《中华人民共和国噪声污染防治法》，生态环境主管部门对工业噪声污染防治实施统一监督管理。工厂夜班产生的噪音属于工业噪声污染，生态环境部门有权进行监管和处理。
当地政府相关部门：
- 如街道办事处、乡镇人民政府等，它们在环境保护方面也有一定的管理职责。您可以前往这些部门的相关办公室反映情况，或者通过社区转达投诉。
公安机关：
- 若工厂噪音严重干扰了您的正常生活，您也可以拨打110报警电话。根据《中华人民共和国治安管理处罚法》，制造噪声干扰他人正常生活的行为可受到警告或罚款处罚。
安监部门：
- 虽然安监部门主要负责工业生产安全监督，但对于工厂扰民问题也可进行投诉。安监部门会依法调查处理，以保障公众生活安宁。
三、法律途径维权
若上述投诉途径均未能有效解决问题，您可以考虑采取法律手段维护自身权益：
提起民事诉讼：
- 根据《中华人民共和国民法典》中关于相邻关系和侵权责任的规定，工厂夜班生产产生的噪音干扰您正常生活，构成对相邻权的侵害。您可以收集相关证据（如噪音录音、录像、医院诊断证明等），撰写起诉状，并向有管辖权的人民法院提起诉讼。
申请环境公益诉讼：
- 如果工厂的噪音污染问题严重，对一定区域内的众多居民造成了影响，符合条件的社会组织可以向人民法院提起环境公益诉讼。您可以积极联系并支持这些社会组织，共同推动问题的解决。
四、注意事项
- 在处理这类问题时，请保持冷静和理性，避免采取过激行为。
- 务必注意收集相关证据，如噪音录音、视频等，以便在需要时提供证明。
- 了解并遵循相关法律法规和程序，这是成功维权的关键。
综上所述，面对夜班时工厂噪音扰民的问题，您可以通过初步沟通与协商、向相关部门投诉以及采取法律途径维权等多种方式来寻求解决方案。希望这些建议能帮助您有效解决问题，维护自身合法权益。