结论：在购买衣服后因质量问题或不符合约定想退货却遭拒的情况下，您可以根据具体情况采取以下措施来维护自己的权益。
一、检查购买时是否有明确的退货约定
书面约定：首先，回顾您在购买衣服时，是否与商家有明确的书面退货约定，如退货期限、退货条件等。如果有，且您的退货请求符合这些约定，那么商家拒绝退货可能构成违约，您可以依据约定要求商家履行退货义务。
口头约定：即使没有书面约定，如果您在购买时与商家有明确的口头退货约定，且能够提供相关证据（如录音、聊天记录等），也可以尝试以此为依据要求商家退货。但口头约定的证明难度较大，因此在实际操作中可能面临一定困难。
二、依据法律规定主张权利
消费者权益保护法：根据《中华人民共和国消费者权益保护法》的相关规定，消费者在购买商品时享有知情权、选择权、公平交易权等权利。如果商家出售的衣服存在质量问题或不符合约定，您有权要求商家退货、换货或修理。在此情况下，您可以向商家说明法律规定，要求其履行退货义务。
产品质量法：如果衣服存在质量问题，如面料瑕疵、做工粗糙等，您还可以依据《中华人民共和国产品质量法》的相关规定，要求商家承担退货、换货或修理等责任。
三、采取具体行动维护权益
与商家协商：在发现衣服存在问题后，首先尝试与商家进行友好协商，说明情况并提出退货请求。在协商过程中，保持冷静和理性，尽量以事实为依据，以法律为准绳，争取达成双方都能接受的解决方案。
向消费者协会投诉：如果协商无果，您可以向当地的消费者协会投诉。消费者协会会为您提供咨询、调解等服务，帮助您维护自己的合法权益。
提起诉讼：如果商家仍然拒绝退货，且您认为自己的权益受到了严重侵害，可以考虑向法院提起诉讼。在诉讼过程中，您需要提供充分的证据证明衣服存在问题以及商家拒绝退货的事实，以便法院作出公正的判决。
四、注意事项
保留证据：在购买衣服时，务必保留好购物凭证（如发票、收据等）以及衣服本身。这些证据在后续维权过程中将起到至关重要的作用。
及时行动：一旦发现衣服存在问题，应尽快与商家联系并提出退货请求。拖延时间可能导致证据丢失或商家拒绝承担责任。
理性维权：在维权过程中，保持冷静和理性，避免采取过激行为或言语攻击商家。以合法、合理的方式维护自己的权益才是明智之举。
如果您在处理此类问题时遇到任何困难或疑问，可以直接向我咨询。作为专业律师，我将竭诚为您提供法律帮助和支持。