在退错衣服给商家且没有足够的证据的情况下，您可能需要先与商家进行协商，并尝试通过其他途径收集证据来支持您的主张。

一. 与商家协商

1. 说明情况：首先，您应诚实地向商家说明您退错衣服的情况，并表达您的歉意。
2. 提出解决方案：与商家共同商讨可能的解决方案，如商家是否同意接受您退回正确的衣服，或者是否愿意为您提供其他形式的补偿。

二. 尝试收集证据

1. 回顾交易记录：检查您的购买记录、退货记录或任何与此次交易相关的电子邮件、短信等，看是否有能够间接证明您退错衣服的信息。
2. 询问见证人：如果您在退货时有人陪同，或者商家处有工作人员见证了退货过程，您可以尝试联系他们，看是否能作为见证人提供证言。
3. 查看监控录像：如果商家店铺内安装有监控摄像头，且录像保存期限尚未过期，您可以尝试请求商家提供退货当天的监控录像，以查看是否能从中找到证明您退错衣服的证据。

三. 法律途径

1. 消费者权益保护法：根据《中华人民共和国消费者权益保护法》的相关规定，消费者在购买、使用商品时享有合法权益。如果您认为商家的处理方式侵犯了您的合法权益，您可以考虑通过法律途径维护自己的权益。
2. 起诉与举证：若协商无果，且您认为有必要通过法律途径解决争议，您可以向人民法院提起诉讼。在诉讼过程中，您需要承担举证责任，即提供足够的证据来支持您的主张。虽然您目前证据不足，但法院会根据您提供的证据以及商家的抗辩情况，综合判断并作出裁决。

我建议，在退错衣服且证据不足的情况下，首先应保持冷静，与商家进行友好协商。同时，尽可能多地收集间接证据来支持您的主张。如果协商无果，且您认为自己的权益受到了侵犯，可以考虑通过法律途径来维护自己的合法权益。如有进一步需要，您可以继续咨询我。