当工厂购买的衣服不合适且商家不给退货时，您可以采取以下步骤来维护自己的合法权益：
结论前置：
您有权要求商家提供合理的退换货服务。若商家拒绝，您可以通过协商、投诉、法律途径等方式来解决问题。
具体步骤：
检查购买凭证与合同条款：
- 仔细查看购买衣服的凭证，如订单、发票或收据，以及任何与购买相关的合同条款。
- 确认合同中是否有关于退换货的明确条款，以及是否满足退换货的条件。
与商家协商：
- 首先尝试与商家进行友好协商，说明衣服不合适的原因，并表达您的退货意愿。
- 如果商家拒绝退货，要求其给出明确的理由，并尝试达成双方都能接受的解决方案，如更换其他款式或颜色、修理衣服等。
向相关部门投诉：
- 如果协商无果，您可以向当地消费者协会或市场监管部门投诉，说明您的情况并提供相关证据。
- 这些部门通常会介入调查，并协助您与商家协商解决问题。
考虑法律途径：
- 如果投诉仍然无法解决问题，您可以考虑通过法律途径来维护自己的权益。
- 咨询专业律师（如我），了解您的法律权利和可行的法律途径，如提起诉讼或申请仲裁。
- 在此过程中，确保保留所有与购买和退货相关的证据，以便在需要时提供证明。
注意事项：
- 保留证据：在整个过程中，务必妥善保存所有相关证据，包括购买凭证、衣服照片、沟通记录等。这些证据将在您维权时发挥重要作用。
- 了解法律法规：熟悉《中华人民共和国消费者权益保护法》等相关法律法规，明确自己的权益和义务。这将有助于您更好地维护自己的合法权益。
- 及时行动：不要拖延维权的时间，尽快采取行动。因为随着时间的推移，证据可能丢失或变得不易获取，而且某些法律途径可能有时间限制。
综上所述，当工厂购买的衣服不合适且商家不给退货时，您应首先尝试与商家协商解决问题。如果协商无果，可以向相关部门投诉或考虑法律途径来维护自己的权益。在整个过程中，请务必保留好相关证据，并了解相关的法律法规。