结论前置：是否需要退回自愿购买的衣服，主要取决于购买时的约定、衣服的质量状况以及是否符合法定或约定的退货条件。以下从不同情况进行分析：
有明确约定退货条款的情况：
- 如果在购买衣服时，商家或销售者与您之间有明确的书面或口头约定，比如“七天内无理由退货”或“衣服存在质量问题可退货”等，那么在这些约定条件下，您是有权要求退货的。这种情况下，您应当按照约定的流程和要求，将衣服退回给商家或销售者，并可能需要根据约定承担部分或全部的退货费用。
无明确约定但衣服存在质量问题的情况：
- 即使购买时没有明确的退货约定，但如果衣服存在质量问题，如尺寸不符、颜色差异大、有瑕疵或损坏等，根据《消费者权益保护法》等相关法律法规，您作为消费者是有权要求退货、换货或修理的。在这种情况下，您应当及时与商家或销售者联系，说明衣服的质量问题，并按照其指示进行退货或换货。
无明确约定且衣服无质量问题的情况：
- 如果购买时没有明确的退货约定，且衣服本身没有质量问题，那么是否需要退回就取决于您的个人意愿和商家的政策了。一般来说，除非商家有特别的退货政策（如无理由退货期），否则您可能无法要求退货。但如果您与商家协商一致，或者商家出于某种原因同意您退货，那么您也可以按照协商的结果将衣服退回。
法律背景与建议：
- 在购买衣服等商品时，建议您尽量与商家或销售者明确退货、换货或修理的条款和条件，以便在出现问题时能够有明确的依据来维护自己的权益。
- 如果衣服存在质量问题，您应当及时保留相关证据（如照片、视频、购买凭证等），并与商家或销售者联系要求退货、换货或修理。如果商家或销售者拒绝履行其义务，您可以向消费者协会投诉或寻求法律途径解决。
- 在没有明确约定且衣服无质量问题的情况下，如果您想要退货，可以尝试与商家协商，看是否能够达成退货的协议。但请注意，商家并没有法律义务必须接受您的退货请求。
可能的法律后果：
- 如果您在没有合法依据的情况下强行要求退货，或者拒绝接受商家合理的退货政策，可能会引发纠纷或争议。在这种情况下，您可能需要承担一定的法律责任或经济损失。
- 如果商家或销售者拒绝履行其退货、换货或修理的义务，且您能够提供充分的证据证明衣服存在质量问题或商家存在违约行为，那么您有权通过法律途径来维护自己的权益，如向法院提起诉讼或申请仲裁等。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。