商品有质量问题时，商家不能仅以退回赠品为由拒绝退款。下面我将对此进行详细分析：
一. 商品质量问题与退款权利
法律依据：根据《中华人民共和国消费者权益保护法》第二十四条，经营者提供的商品或者服务不符合质量要求的，消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。没有国家规定和当事人约定的，消费者可以自收到商品之日起七日内退货；七日后符合法定解除合同条件的，消费者可以及时退货，不符合法定解除合同条件的，可以要求经营者履行更换、修理等义务。
分析说明：此条款明确规定了消费者在购买商品时，如果商品存在质量问题，消费者有权要求退货。这是消费者的基本权利，不受其他条件（如赠品）的限制。
二. 赠品与主商品的关系
法律观点：赠品虽然是免费赠送的，但它仍然是商品的一部分，应当与主商品一样符合质量要求。如果赠品存在质量问题，消费者同样有权要求更换或退货。然而，赠品的存在并不能成为商家拒绝主商品退款的理由。
实例说明：例如，你购买了一部手机，并获得了一个赠送的手机壳。如果手机本身存在质量问题，商家不能因为你没有退回手机壳而拒绝为你退款。
三. 总结与建议
总结：综上所述，当商品存在质量问题时，商家不能仅以退回赠品为由拒绝退款。这是消费者的合法权益，受法律保护。
建议：如果你遇到商家以退回赠品为由拒绝退款的情况，可以向消费者协会或相关部门投诉，维护自己的合法权益。同时，保留好购买凭证和商品质量问题的证据，以便在需要时进行维权。
如有进一步需要，您可以继续咨询我。