商家以没有维修部门为由拒绝维修损坏的衣服是不合法的。针对您的问题，我们可以从以下两个方面进行分析：

一. 商家的维修义务

1. 依据相关法律法规：根据《消费者权益保护法》以及《产品质量法》的相关规定，商家在售出商品后，对于商品存在的质量问题或者与样品不符的情况，应当承担相应的维修、更换、退货等责任。
2. 维修义务的履行：商家以没有维修部门为由拒绝维修，实际上是在逃避其应尽的维修义务。无论商家是否设有专门的维修部门，只要商品在保修期内且存在质量问题，商家就应当负责维修或者提供相应的解决方案。

二. 消费者的权益保护

1. 消费者的选择权：作为消费者，您有权选择要求商家进行维修，或者根据商品的实际情况选择更换、退货等。
2. 维权途径：如果商家拒绝履行其维修义务，您可以通过向消费者协会投诉、向市场监管部门举报或者通过法律途径维护自己的合法权益。

综上所述，商家以没有维修部门为由拒绝维修是不合法的。我建议您首先与商家进行协商，明确要求其履行维修义务。如果商家仍然拒绝，您可以考虑通过上述途径来维护自己的权益。如有进一步需要，您可以继续咨询我。