结论：是否需要还钱，取决于对方拿走退件的行为是否构成不当得利，以及您与对方之间是否存在其他法律关系或约定。以下从不同角度为您详细分析：

1. 不当得利角度：

   • 法律背景：根据《中华人民共和国民法典》的相关规定，不当得利是指没有合法根据，使他人受到损失而自己获得了利益。如果对方拿走的退件原本属于您，且对方没有合法依据（如您授权、合同约定等）占有该物品，同时您因此遭受了损失（如物品价值、因退件被拿走而产生的额外费用等），那么对方的行为可能构成不当得利。
   • 法律建议：在这种情况下，您有权要求对方返还退件或赔偿相应的损失。如果对方拒绝，您可以通过法律途径（如起诉）来维护自己的权益。

2. 合同关系角度：

   • 法律背景：如果您与对方之间存在合同关系，且退件被拿走与合同履行有关（如对方是快递公司，因疏忽将退件放在门口被他人拿走），那么您可能需要根据合同条款来追究对方的责任。
   • 法律建议：首先，检查您与对方之间的合同，看是否有关于退件处理、责任承担等条款。如果有，根据合同条款来要求对方承担相应的责任。如果没有或合同条款不明确，您可以与对方协商解决，或寻求法律帮助来明确责任。

3. 侵权责任角度：

   • 法律背景：如果对方拿走退件的行为侵犯了您的财产权（如退件具有经济价值），且对方存在过错（如故意或过失），那么对方可能需要承担侵权责任。
   • 法律建议：在这种情况下，您可以要求对方停止侵害、返还退件或赔偿损失。如果对方拒绝，您同样可以通过法律途径来维护自己的权益。

4. 特殊情况考虑：

   • 如果退件被拿走是因为您自身的疏忽（如未将退件妥善保管在安全地点），那么您可能需要承担一定的责任。在这种情况下，要求对方还钱或赔偿损失可能会受到一定的限制。
   • 如果对方拿走退件是出于善意（如误认为是自己的物品），且事后愿意归还，那么您可能无法要求对方承担法律责任，但可以要求对方归还退件。

进一步思考与行动建议：

• 首先，尝试与对方沟通，了解对方拿走退件的原因和意图，看是否能够通过协商解决问题。
• 如果协商无果，收集相关证据（如退件的价值证明、对方拿走退件的证据等），以便在需要时通过法律途径来维护自己的权益。
• 在处理此类问题时，保持冷静和理性，避免采取过激行为或言语，以免加剧矛盾或引发不必要的法律纠纷。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。