退一赔三时，通常需要退回商品，但并非绝对，具体需根据实际情况与商家协商。
分析说明：
一般情况：在适用退一赔三的场景中，消费者通常需要先将商品退还给商家。这是因为退一赔三的前提是消费者和商家之间存在交易，而退一是基础。例如，消费者购买了一个有质量问题的商品，要求商家退一赔三，那么消费者应当先将商品退还给商家，商家再依据规定进行退款和赔偿。
特殊情况：然而，也存在一些特殊情况。比如，商品已经损坏到无法退还，或者因为某些原因（如商品已被消耗、丢弃等）不能退还。在这种情况下，消费者和商家需要协商处理，商家可能会根据商品的实际情况，在赔偿上做一些调整。
法律依据：根据《消费者权益保护法》第五十五条，经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或者接受服务的费用的三倍。这一条款并没有明确规定必须退还商品，但通常情况下，退还商品是退一赔三的前提。
结论补充说明：
因此，在处理退一赔三的问题时，消费者和商家应当根据实际情况进行协商。如果商品可以退还，那么消费者应当先退还商品；如果商品无法退还或者因为特殊原因不能退还，那么双方需要协商处理赔偿事宜。在任何情况下，消费者都应当保留好相关证据，以便维护自己的合法权益。