结论：取钱没退回卡且被他人拿走的情况下，对方是否可以追回，取决于多种因素，包括是否构成不当得利、是否存在诈骗等违法犯罪情形，以及证据是否充分、对方是否有偿还能力等。以下是对此问题的详细分析：

一、可以追回的情况

1. 基于不当得利

   • 法律依据：根据《中华人民共和国民法典》第九百八十五条，若对方无合法根据取得你的钱财，即构成不当得利，你有权要求其返还。
   • 操作建议：首先，尝试与对方友好沟通，说明情况并要求返还款项，同时保留好沟通记录，如聊天记录、通话录音等。若协商无果，可凭借转账记录、沟通记录等证据向法院提起民事诉讼，要求对方返还不当得利。

2. 存在诈骗等违法犯罪情形

   • 法律途径：若对方通过诈骗、盗窃等非法手段获取你的钱财，应立即向公安机关报案。
   • 操作指南：详细说明事情经过，提供对方姓名、卡号、转账记录等相关证据。公安机关立案侦查后，若抓获犯罪嫌疑人并追回赃款，你有机会拿回被取走的钱。

二、难以追回的情况

1. 证据不足

   • 问题阐述：若无法提供充分证据证明钱是被对方不当取走的，如缺乏转账记录或无法证明转账违背你真实意愿，则无论是协商还是诉讼都可能面临困难。
   • 风险提示：在法律程序中，证据至关重要。缺乏足够证据支持你的主张，法院可能不会支持你的诉求。因此，务必注意收集和保存相关证据。

2. 对方无偿还能力

   • 情况说明：即使通过法律途径胜诉，但若对方无偿还能力，如名下无财产或已资不抵债，即使法院判决对方返还钱款，你也可能无法实际拿到钱。
   • 后续处理：在这种情况下，法院可能会终结本次执行程序，待对方有财产可供执行时再恢复执行。你可以关注对方的财产状况，一旦发现有可供执行的财产，及时向法院申请恢复执行。

三、综合建议

• 及时采取行动：发现钱被取走后，应尽快采取措施保护自己的合法权益，避免错过最佳维权时机。
• 收集保存证据：注意收集和保存相关证据，如转账记录、聊天记录、通话录音等，以便后续维权使用。证据是维权的关键，务必确保其真实性和完整性。
• 保持冷静理性：在处理此类问题时，应保持冷静和理性，避免使用过激言辞或行为，以免影响证据效力或触犯法律。

总结：能否追回被取走的钱取决于多种因素。在处理此类问题时，应综合考虑各种情况并采取相应措施。如果你在此过程中遇到任何法律问题或需要进一步的法律帮助，可以直接向我咨询。