如果扰民方不肯协商，你可以通过以下途径来维护自己的合法权益：
向相关部门投诉：
- 你可以向当地的环保部门、城管部门或者公安机关进行投诉。这些部门有职责处理噪音扰民等环境问题，他们可以依据相关法律法规对扰民行为进行调查和处理。
- 投诉时，尽量提供详细的证据，如噪音发生的时间、地点、持续时间以及对你造成的影响等，以便相关部门能够更准确地了解情况并作出处理。
寻求社区或物业的帮助：
- 如果你居住在小区或者有物业管理的地方，可以向社区居委会或者物业公司反映情况。他们通常有一定的调解能力，可以帮助你与扰民方进行沟通，尝试达成和解。
- 社区或物业也可以协助你收集证据，或者在你需要时提供相关的支持和帮助。
考虑法律途径：
- 如果上述途径都无法解决问题，你可以考虑通过法律途径来维护自己的权益。你可以向法院提起民事诉讼，要求扰民方停止侵害、排除妨碍，并可能要求赔偿因此造成的损失。
- 在提起诉讼前，建议你先收集好相关证据，如噪音录音、视频、证人证言等，以证明扰民行为的存在以及对你造成的影响。
- 同时，你也可以咨询专业律师（比如我，何虎律师，就擅长处理各类侵权纠纷），了解具体的法律程序和诉讼策略，以便更好地维护自己的权益。
在处理扰民问题时，还需要注意以下几点：
- 保持冷静和理性：尽管扰民行为可能让你感到非常愤怒和困扰，但在处理问题时还是要尽量保持冷静和理性。避免与扰民方发生直接冲突，以免事态升级。
- 及时收集证据：证据是维护自己权益的关键。在发现扰民行为时，要及时收集相关证据，如录音、视频、照片等。这些证据将在后续的处理过程中发挥重要作用。
- 了解相关法律法规：在处理扰民问题时，了解相关的法律法规是非常重要的。这可以帮助你更好地了解自己的权益和义务，以及扰民方可能承担的法律责任。
最后，如果扰民问题持续存在且无法通过协商、投诉或法律途径解决，你还可以考虑搬离该环境。当然，这应该是在其他途径都尝试过且无效的情况下的最后选择。有问题可以直接向我咨询，我会为你提供专业的法律建议。