退货给商家时退了别的东西是犯法的。下面对此进行详细分析：
一. 退货退了别的东西构成不当得利或诈骗
当你购买的衣服存在质量问题并要求退货时，按照《中华人民共和国消费者权益保护法》的规定，你有权要求退货并获得退款。然而，如果你退给商家的不是原本购买的衣服，而是其他物品，这可能构成不当得利或甚至诈骗行为。
不当得利：如果你退回了价值较低的物品，而商家基于信任退还了你购买衣服的全款，你便获得了不应得的经济利益，这构成了不当得利。根据法律规定，不当得利应当返还。
诈骗：如果你故意退回与购买商品不符的物品，并意图骗取商家的退款，这可能构成诈骗行为。诈骗是违法的，并可能面临法律责任。
二. 退货时应退还原物
根据《中华人民共和国消费者权益保护法》的相关规定，消费者退货的商品应当完好，且应是与商家协商确定的退货商品。退回其他物品显然违反了这一规定，也违背了诚实信用的交易原则。
三. 建议与商家沟通解决
如果你已经错误地退回了其他物品，建议立即与商家联系，说明情况，并协商解决方案。你可能需要退回正确的商品，或者与商家就退款事宜进行进一步协商。
我的观点：退货时退回与购买商品不符的物品是违法的，可能构成不当得利或诈骗。因此，在退货时，请务必确保退回的是原本购买的商品，以避免不必要的法律纠纷。如有进一步需要，您可以继续咨询我。