当淘宝商家发错了货，你作为买家并非有权不退还。下面我将从法律角度和实际情况为你详细解析：
法律角度：
- 根据《中华人民共和国民法典》的相关规定，卖家发错货构成合同违约，未按照约定提供正确商品。作为买家，你有权要求卖家更正错误，提供正确的商品。
- 如果你选择不退还发错的货物，尤其是当该货物价值更高时，这可能构成不当得利。根据《民法典》第九百八十五条，得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还取得的利益。
- 进一步地，如果卖家要求你退还发错的货物而你拒绝，卖家有权向法院提起民事诉讼。一旦法院判决返还而拒不执行，你可能面临强制执行及承担诉讼费用等后果。
实际情况：
- 从道德和长远利益考量，与卖家积极沟通并寻求解决方案是更为明智的选择。这既能维护你的合法权益，也有助于构建良好的商业环境。
- 如果发错的货物对你毫无用处，甚至造成了不便或损失，你可以要求卖家承担赔偿责任，如赔偿运费、换货产生的额外费用等。
- 在某些特殊情况下，如果发错的货物与你的需求完全无关，且对你造成了明显的不便或损失，而你与卖家协商无果，你可能有权拒绝退还并要求卖家担责。但这需要具体情况具体分析，且最好通过法律途径解决争议。
综上所述，当淘宝商家发错了货，你作为买家应首先与卖家进行沟通，明确表达你的立场和需求。如果卖家要求退回并发送正确商品，你应积极配合以维护自身合法权益及商业信誉。在处理过程中，保持诚信态度，遵循法律法规，以建立和维护健康的消费环境。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。