工厂扰民，在符合一定条件下，是可以要求其停工整改的，这一要求是合法的。以下从几个方面为你详细分析：
法律依据
根据《中华人民共和国环境噪声污染防治法》等相关法律法规，工厂等生产经营单位在生产过程中产生的噪声如果超过了国家规定的标准，对周围居民的生活造成了影响，就构成了环境噪声污染。对于这种情况，环保部门有权要求工厂采取措施进行整改，包括但不限于停工整改，以降低噪声污染，保护居民的合法权益。
具体操作流程
投诉举报：如果你认为工厂的噪声污染已经影响到了你的正常生活，你可以首先向当地的环保部门进行投诉举报。在投诉时，尽量提供详细的信息，如工厂的名称、地址、噪声产生的时间、频率以及对你生活造成的具体影响等。
环保部门调查：环保部门在接到投诉后，会进行调查核实。他们会测量工厂的噪声水平，并与国家规定的标准进行对比。如果确实存在超标情况，环保部门会依法对工厂进行处理。
要求停工整改：在调查核实后，如果工厂的噪声污染确实超标，且对周围居民的生活造成了严重影响，环保部门有权要求工厂停工整改。停工整改的期限会根据具体情况而定，直到工厂采取有效措施将噪声污染降低到国家规定的标准以下为止。
注意事项
保留证据：在投诉举报前，建议你尽量保留一些证据，如拍摄工厂噪声产生的视频、记录噪声产生的时间等。这些证据将有助于环保部门更快地了解情况，并作出处理决定。
合法维权：在要求工厂停工整改的过程中，一定要通过合法途径进行维权。不要采取过激行为或私自采取行动，以免给自己带来不必要的麻烦。
关注进展：在投诉举报后，你可以关注环保部门的处理进展。如果环保部门没有及时采取行动或处理结果不满意，你可以进一步向上级部门反映或寻求法律援助。
可能的法律后果
如果工厂在接到环保部门的整改通知后，仍然拒不执行或继续超标排放噪声，那么工厂可能会面临更严重的法律后果，包括但不限于罚款、停产整顿甚至吊销营业执照等。同时，作为受害者，你也有权向法院提起诉讼，要求工厂赔偿因噪声污染给你造成的损失。
如果你在实际操作中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。