结论：是否需要归还“买衣服的钱”，取决于这笔钱的性质以及你们之间的约定或法律关系的具体情形。以下分情况详细说明：

1. 如果这笔钱是借款：

   • 法律背景：根据《中华人民共和国民法典》中关于借款合同的规定，借款合同是借款人向贷款人借款，到期返还借款并支付利息的合同。如果你们之间明确约定了这笔钱是借款，并且有相关的证据（如借条、聊天记录等）支持这一约定，那么你就需要按照约定的期限和方式归还这笔钱。
   • 法律建议：如果你确实收到了这笔借款，并且现在有能力归还，建议与对方协商归还事宜，以避免可能的法律纠纷。如果暂时无力归还，也可以与对方协商延期还款或分期还款等方案。

2. 如果这笔钱是赠与：

   • 法律背景：赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。如果你们之间明确约定了这笔钱是赠与，或者虽然没有明确约定，但根据交易习惯、双方关系等因素可以推断出这笔钱是赠与的，那么你就不需要归还这笔钱。
   • 法律建议：如果你认为这笔钱是赠与，但对方现在要求归还，你可以先与对方沟通，了解对方的要求和理由。如果沟通无果，且你确实认为这笔钱是赠与，你可以考虑寻求法律帮助，以维护自己的合法权益。

3. 如果这笔钱是购买衣服的预付款或定金：

   • 法律背景：在货物买卖合同中，预付款或定金是买方为了表示购买意愿而提前支付给卖方的一部分款项。如果你们之间约定了这笔钱是预付款或定金，并且因为某种原因（如卖方无法提供货物、买方取消购买等）导致合同无法履行，那么根据合同约定和法律规定，可能需要退还这笔钱或扣除部分费用后退还。
   • 法律建议：如果你收到了这笔预付款或定金，但现在因为某种原因无法履行合同，建议与对方协商退还事宜。如果协商无果，且合同中有明确约定或法律规定需要退还，你可以考虑通过法律途径解决纠纷。

4. 如果这笔钱涉及其他复杂法律关系：

   • 法律背景：除了上述几种情况外，这笔钱还可能涉及其他复杂的法律关系，如不当得利、欺诈等。如果你们之间的交易存在欺诈、胁迫等情形，或者你因为对方的错误支付而获得了这笔钱（不当得利），那么根据法律规定，你可能需要归还这笔钱或承担其他法律责任。
   • 法律建议：如果你认为这笔钱涉及其他复杂法律关系，或者对方的要求存在不合理之处，建议及时咨询专业律师（即我，桑文君律师，专注于经济纠纷、合同纠纷领域），以便更准确地了解你的法律义务和风险，并采取相应的法律措施。

进一步思考：在处理这类问题时，关键在于明确这笔钱的性质以及你们之间的约定或法律关系。因此，我建议你先回顾一下你们之间的交易过程、聊天记录、合同等证据材料，以便更准确地判断这笔钱的性质。如果仍有疑问或无法达成一致意见，可以随时向我咨询，我会根据你的具体情况提供更详细的法律建议。