当销售的衣服被认定为残次品时，商家或生产者确实需要承担相应的责任，并按照相关法律法规和消费者权益保护政策对消费者进行赔偿。以下是对这一问题的详细解答：
一、赔偿的法律依据
《中华人民共和国民法典》：该法典规定，如果商品不符合质量要求，导致合同目的无法实现，消费者有权要求解除合同并主张赔偿损失。这意味着，如果消费者购买的衣服存在残次，他们有权要求商家进行赔偿。
《中华人民共和国消费者权益保护法》：该法明确规定了消费者的合法权益受到损害时的救济途径，包括与经营者协商和解、请求消费者协会调解、向有关行政部门投诉、提请仲裁机构仲裁以及向人民法院提起诉讼等。这为消费者提供了多种维权方式。
二、具体的赔偿方式
退货退款：消费者可以要求商家无条件退货，并返还已支付的货款。这是最直接且基本的赔偿方式，旨在恢复消费者的原始购买状态。
换货：如果消费者希望继续获得符合质量要求的衣服，他们可以要求商家更换同型号、同规格的新商品。
修理：对于某些可以修复的衣服残次问题，消费者可以选择要求商家进行修理，以使其达到正常使用标准。但需注意，如果修理期间给消费者造成了其他损失（如交通费用、误工费等），商家也应予以赔偿。
赔偿损失：如果因衣服残次问题导致消费者遭受了其他损失（如因穿着残次衣服导致的人身伤害、财产损失等），消费者有权要求商家赔偿这些损失。赔偿金额应根据实际损失情况确定，可能包括医疗费用、误工费、财产损失费等。
惩罚性赔偿：在特定情况下，如商家存在欺诈行为（如故意销售残次品），消费者还可以根据《中华人民共和国消费者权益保护法》第五十五条的规定，要求商家按照消费者购买商品价款的三倍增加赔偿其受到的损失；增加赔偿的金额不足五百元的，为五百元。
三、赔偿流程建议
保留证据：消费者在发现衣服存在问题后，应及时保留相关证据，如购物凭证、衣服照片、视频、检测报告等，以便后续维权使用。
与商家协商：首先尝试与商家进行沟通协商，提出合理的赔偿要求。如果商家同意进行赔偿，双方可以签订书面协议并履行各自义务。
寻求第三方帮助：若协商无果，消费者可以向当地的消费者协会、市场监管部门或其他相关机构投诉举报，寻求第三方的帮助和支持。
法律途径：如果问题仍未得到解决，消费者可以考虑通过法律途径来维护自己的权益，如向法院提起诉讼或申请仲裁等。
综上所述，销售衣服残次品时，商家或生产者需要承担相应的法律责任，并按照相关法律法规和消费者权益保护政策对消费者进行赔偿。消费者在遇到此类问题时，应积极维权，保护自己的合法权益。