针对您楼下服装厂扰民的问题，您可以采取以下步骤来解决：

首先，建议您尝试与服装厂的负责人进行友好沟通。您可以向他们表达您的困扰，说明噪音对您的生活产生了严重影响，并请求他们采取措施减少噪音。在沟通过程中，保持冷静和礼貌，尽量寻求双方都能接受的解决方案。

如果友好沟通没有效果，您可以考虑向物业或业主委员会反映问题。他们可能会派人去现场查看，并协助您与服装厂进行进一步沟通或调解。物业或业主委员会通常有一定的管理权限，可以帮助您解决这类问题。

另外，您也可以向相关部门进行投诉。比如，您可以联系当地的环保部门或城管部门，向他们反映噪音污染问题。他们会对噪音进行测量和评估，并根据相关法规对服装厂进行相应处理。同时，您也可以拨打110报警，请求民警进行中间沟通调解。

在处理此类问题时，建议您保留好相关证据，如噪音录音、视频等，以便在需要时提供给相关部门或法律机构。

最后，如果以上方法都无法解决问题，您可以考虑寻求法律援助或咨询专业律师。他们可以根据您的具体情况，为您提供更详细的法律建议和帮助。

总之，面对楼下服装厂扰民的问题，您可以通过友好沟通、向物业或业主委员会反映、向相关部门投诉以及寻求法律援助等方式来解决问题。希望您能够尽快找到有效的解决方案，恢复宁静的生活环境。