结论：买衣服不给退的情况，能否要求退货退款需根据具体情况判断，主要包括是否符合法定或约定的退货条件、商家是否明确告知退货政策等。以下从不同角度详细分析：
一、法定退货条件
根据《中华人民共和国消费者权益保护法》的相关规定，消费者在购买商品后，享有在一定期限内无理由退货的权利，这通常被称为“七天无理由退货”制度。但这一制度主要适用于通过网络、电视、电话、邮购等方式购买的商品。对于实体店购买的商品，除非商品存在质量问题或者商家有特别承诺，否则消费者可能不享有无理由退货的权利。
商品存在质量问题：如果衣服存在质量问题，如破损、色差严重、尺码不符等，根据《消费者权益保护法》的规定，消费者有权要求退货、换货或者修理。商家不得以任何理由拒绝消费者的合理要求。
商家承诺无理由退货：如果商家在销售时明确承诺了无理由退货政策，那么消费者在购买后的一定期限内（通常是七天）可以无理由要求退货。这种情况下，商家应当履行承诺，接受消费者的退货申请。
二、约定退货条件
除了法定退货条件外，消费者和商家之间还可以通过约定来设定退货条件。这种约定可以是口头的，也可以是书面的（如购物小票、销售合同等）。
口头约定：如果消费者在购买时与商家口头约定了退货条件，如“如果不喜欢可以退货”等，那么商家应当遵守这一约定。但口头约定往往难以证明，因此消费者在购买时最好要求商家出具书面证明或者保留相关证据。
书面约定：如果商家在销售时提供了书面退货政策或者购物小票上注明了退货条件，那么消费者应当仔细阅读并了解这些条件。在符合约定条件的情况下，消费者有权要求退货。
三、商家拒绝退货的处理方式
如果商家拒绝消费者的退货申请，消费者可以采取以下措施来维护自己的合法权益：
与商家协商：首先，消费者可以尝试与商家进行协商，说明自己的退货理由和依据，争取达成退货协议。
向消费者协会投诉：如果协商无果，消费者可以向当地的消费者协会投诉，寻求帮助和支持。消费者协会可以介入调解，促使商家履行退货义务。
寻求法律途径解决：如果商家仍然拒绝退货，消费者可以考虑通过法律途径来解决纠纷。这包括向法院提起诉讼或者申请仲裁等。在诉讼或仲裁过程中，消费者需要提供充分的证据来证明自己的退货理由和依据。
四、建议与提醒
保留购物凭证：消费者在购买衣服时，应当妥善保管购物小票、发票等凭证。这些凭证是证明购买行为和退货权利的重要依据。
了解退货政策：在购买前，消费者应当了解商家的退货政策，包括退货期限、退货条件等。这有助于消费者在购买后更好地维护自己的权益。
理性消费：消费者在购买衣服时，应当理性消费，避免盲目购买。如果确实需要退货，应当及时与商家沟通并按照约定或法定条件进行退货。
如果您在买衣服退货过程中遇到任何问题或纠纷，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。