结论：顾客将穿坏的衣服拿回来退货是否违法，不能一概而论，需根据具体情况判断。以下从不同角度进行分析：
合同约定角度：
- 如果在购买衣服时，商家与顾客之间有明确的合同约定，比如“在一定期限内，非人为损坏可退货”或“商品出现质量问题可退换”等条款，且顾客能证明衣服的损坏并非其人为造成，而是商品本身的质量问题，那么顾客退货是合法的，商家应当按照合同约定履行退货义务。
- 反之，如果合同中明确约定了“商品售出，概不退换”或“人为损坏不予退货”等条款，且顾客无法证明衣服损坏非其人为造成，那么顾客退货可能就不符合合同约定，商家有权拒绝退货。但需要注意的是，根据《消费者权益保护法》的相关规定，如果此类条款属于格式条款且存在不公平、不合理的情况，可能会被认定为无效。
法律规定角度：
- 根据《消费者权益保护法》的相关规定，如果商品存在质量问题，消费者有权要求退货、换货或修理。因此，如果顾客能证明衣服的损坏是由于商品本身的质量问题导致的，那么即使合同中没有明确约定，顾客也有权要求退货。
- 如果衣服的损坏是由于顾客的使用不当或人为因素造成的，那么根据法律规定，顾客通常无权要求退货。但商家出于商业考虑或客户关系维护，可能会选择给予一定的补偿或换货服务，这并非法律义务。
实际操作角度：
- 在实际操作中，商家和顾客之间可能会因为退货问题产生争议。为了避免纠纷，建议商家在销售时明确告知顾客退货政策，并在合同中详细约定退货条件、流程等事项。
- 对于顾客而言，在购买衣服时应当仔细阅读合同条款，了解退货政策，并在使用过程中注意保护商品，避免人为损坏。如果确实需要退货，应当及时与商家沟通，并提供相关证据证明衣服的损坏非其人为造成。
建议：
- 如果您是商家，建议制定明确、合理的退货政策，并在销售时向顾客充分说明，以减少纠纷的发生。
- 如果您是顾客，在购买衣服时应当仔细阅读合同条款，了解退货政策，并在使用过程中注意保护商品。如果确实需要退货，应当及时与商家沟通，并提供相关证据。
后续行动：
- 如果您在处理此类纠纷时遇到法律问题或需要进一步的法律建议，可以直接向我咨询，我会根据您的具体情况提供专业的法律意见。