对方用骗来的钱购买了奢侈品，卖家通常不需要退还。下面我将从法律角度为您详细解释这一结论：

1. 合同法的角度：

   • 当对方使用骗来的钱购买奢侈品时，如果卖家在销售过程中并不知情，且交易过程合法合规，那么卖家与买家之间的买卖合同是有效的。根据合同法的原则，卖家没有义务去审查买家资金来源的合法性，除非有明确的法律规定或双方事先有特别的约定。
   • 因此，在卖家不知情且交易合法的情况下，卖家无需退还已售出的奢侈品。

2. 民法关于不当得利的规定：

   • 不当得利是指没有法律根据，使他人受到损失而自己获得了利益。但在这个场景中，卖家是基于合法的买卖合同获得货款，并不构成不当得利。
   • 所以，从不当得利的角度来看，卖家也没有退还的义务。

3. 特殊情况的处理：

   • 当然，如果卖家在交易过程中明知或应知买家使用的是骗来的钱，并且参与了诈骗行为，那么卖家可能需要承担相应的法律责任，包括退还奢侈品或赔偿损失等。
   • 但这种情况比较特殊，需要具体的证据和法律程序来判断。

综上所述，从一般的法律原则来看，对方用骗来的钱购买了奢侈品，卖家通常不需要退还。但如果您作为卖家或买家遇到了类似的情况，并且涉及到复杂的法律问题，建议您及时向我咨询，以便得到更具体、更专业的法律建议。