结论：小区内开服装厂噪音扰民的问题，通常由服装厂的经营者或管理者负责，但具体责任归属还需根据实际情况和相关法律法规来综合判断。以下是从不同角度的详细分析：
从噪音污染的法律责任角度：
- 根据《中华人民共和国环境噪声污染防治法》的相关规定，任何单位和个人都有保护环境的义务，不得制造超过国家规定的环境噪声排放标准，干扰他人正常生活、工作和学习。
- 服装厂作为噪音的产生源，如果其产生的噪音超过了国家规定的标准，那么其经营者或管理者就应当承担相应的法律责任，包括停止侵害、排除妨碍、赔偿损失等。
从物业管理的角度：
- 小区物业管理公司有责任维护小区的公共秩序和环境卫生，包括管理噪音污染问题。
- 如果服装厂位于小区内，且其噪音污染问题影响了小区居民的正常生活，那么物业管理公司应当积极介入，协调解决纠纷，甚至可以采取必要的措施，如限制服装厂的经营时间、要求其采取降噪措施等。
- 如果物业管理公司未能履行其管理职责，导致噪音污染问题持续存在，那么物业管理公司也可能需要承担一定的法律责任。
从相邻关系的角度：
- 根据《中华人民共和国民法典》中关于相邻关系的规定，不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。
- 如果服装厂的噪音污染问题严重影响了小区居民的正常生活，那么小区居民有权要求服装厂停止侵害、排除妨碍，并可以要求其赔偿因此造成的损失。
法律建议：
- 对于小区居民来说，如果遭受服装厂噪音扰民的问题，首先可以尝试与服装厂的经营者或管理者进行协商，要求其采取降噪措施或限制经营时间等。
- 如果协商无果，可以向小区物业管理公司投诉，要求其介入协调解决。
- 如果物业管理公司也未能解决问题，可以向当地的环保部门或城市管理部门投诉，要求其依法处理。
- 在必要时，小区居民还可以考虑通过法律途径来维护自己的合法权益，如向法院提起诉讼等。
可能后果：
- 如果服装厂未能及时采取降噪措施或限制经营时间等，可能会面临环保部门或城市管理部门的处罚，包括罚款、责令停业整顿等。
- 如果小区居民通过法律途径维权成功，服装厂可能需要承担赔偿损失等法律责任。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供更详细的法律建议。