在申请“退一赔三”时，是否需要把货物退回去，并非绝对，而是取决于具体的消费纠纷情况、商品性质以及消费者与商家的协商结果。以下是对这一问题的详细分析：
一、一般情况下的退货原则
公平交易与恢复原状：从公平交易和恢复原状的角度出发，消费者在申请“退一赔三”时，通常应将所购买的商品退还给经营者。这样做有助于双方的交易关系恢复到交易前的状态，体现了交易的公平性。例如，消费者购买到假冒名牌服装，要求“退一赔三”时，通常需要退还该服装。
法律依据：虽然《中华人民共和国消费者权益保护法》并未直接规定“退一赔三”时必须退还商品，但根据该法第二十五条和第五十四条的规定，对于依法经有关行政部门认定为不合格的商品，或者消费者在购买时确认不宜退货的商品（除特定情形外），消费者要求退货的，经营者应当负责退货。这间接支持了退货的原则，尤其是在商品存在质量问题或欺诈行为时。
二、特殊情况下的商品处理
商品性质特殊：如果商品属于不宜退货的特定商品，如定制的、个性化的商品，或者已经使用并消耗了一部分且无法恢复原状的商品（如食品、化妆品等），可能不需要退还商品。例如，消费者定制的有特定要求和设计的油画，在发现欺诈行为时，由于难以二次销售，可能就不需要退还。
协商结果：在实际操作中，是否必须退回商品也取决于消费者与商家之间的协商结果。消费者有权选择保留商品并获得赔偿，特别是在商品对个人有特殊意义或退货会造成不便的情况下。例如，消费者购买了一件具有纪念意义的商品，发现存在欺诈行为后，可能更倾向于保留商品并获得赔偿。
三、实际操作建议
保留证据：消费者在遇到“退一赔三”的情况时，应妥善保留购物凭证和相关证据，如发票、收据、商品照片、聊天记录等。这些证据将有助于消费者在维权过程中证明自己的权益和诉求。
积极协商：消费者应与经营者积极协商，明确退货的具体流程和细节，包括退货时间、方式、费用承担等。如果双方能达成一致，可以签订书面协议以确保权益得到保障。
寻求法律援助：如果协商无果或遭遇恶意拖延，消费者可以向消费者协会投诉或向法院提起诉讼，寻求法律援助以维护自己的合法权益。在此过程中，消费者可以依据《中华人民共和国消费者权益保护法》第五十五条的规定，要求经营者增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或者接受服务的费用的三倍。
举例说明：假设消费者购买了一部手机，发现是假冒产品。在申请“退一赔三”时，消费者通常需要将手机退还给商家，并获得购买价款三倍的赔偿。但如果手机已经被消费者使用并产生了数据等无法恢复的内容，或者手机对消费者有特殊意义（如已故亲人赠送的礼物），消费者可以与商家协商保留手机并获得赔偿。
综上所述，“退一赔三”时是否需要退还商品是一个灵活处理的问题。在实际操作中，消费者应充分了解自己的权益和义务，积极与商家沟通协商，以确保自己的合法权益得到有效维护。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。