受害者确实有可能在一定条件下要求粉尘污染的工厂停工，但具体能否实现，需结合实际情况和法律规定来判断。以下从不同角度为你详细分析：

一、从环境保护法律角度

根据《中华人民共和国环境保护法》等相关法律法规，工厂在生产过程中必须遵守国家规定的污染物排放标准，采取有效措施防止、减少环境污染和生态破坏。如果粉尘污染超标，且工厂未采取有效措施进行整改，环保部门有权依法对其进行处罚，包括责令停产整治等。

具体情形：

• 超标排放：若工厂排放的粉尘超过国家或地方规定的排放标准，环保部门可以依据相关法律法规，对工厂进行处罚，并要求其停产整治，直至达到排放标准。
• 未采取有效措施：即使工厂排放的粉尘未超标，但如果其未采取有效措施防止粉尘污染，对周边环境或居民生活造成严重影响，环保部门也有权要求其整改，甚至停产。

二、从相邻权法律角度

根据《中华人民共和国民法典》中关于相邻权的规定，不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。如果工厂的粉尘污染严重影响了周边居民的正常生活，居民有权要求工厂停止侵害、排除妨碍。

具体情形：

• 影响正常生活：若工厂的粉尘污染导致周边居民无法正常开窗通风、晾晒衣物，或者对居民的身体健康造成损害，居民可以依法向法院提起诉讼，要求工厂停止污染行为，甚至停产整治。
• 协商无果：在提起诉讼前，居民可以尝试与工厂进行协商，要求其采取措施减少粉尘污染。如果协商无果，再考虑通过法律途径解决。

三、实际操作建议

1. 收集证据：受害者应首先收集工厂粉尘污染的证据，如空气质量检测报告、照片、视频等，以证明工厂的污染行为及其对自身造成的损害。
2. 向环保部门投诉：受害者可以向当地环保部门投诉工厂的粉尘污染行为，要求环保部门进行调查并依法处理。
3. 提起诉讼：如果环保部门的处理结果未能满足受害者的需求，或者工厂未按照环保部门的要求进行整改，受害者可以向法院提起诉讼，要求工厂停止侵害、排除妨碍，并赔偿损失。

需要强调的是，要求工厂停工并非易事，需要充分的证据和法律依据。因此，受害者在采取行动前，应咨询专业律师（比如我~），了解自己的权利和义务，以及可能的法律后果。如果你有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。