结论概述：对方能否要回这些钱，取决于你们之间的法律关系性质以及资金往来的具体情况。以下从不同法律关系角度为你详细分析。

一、若你们之间构成赠与关系

1. 法律解释：赠与是赠与人将自己的财产无偿给予受赠人，受赠人表示接受的一种行为。如果对方明确表示将卡里的钱赠与你，且你接受了，那么从法律上讲，这笔钱就属于你的个人财产。
2. 可能后果：在这种情况下，对方一般不能随意要回这些钱。因为赠与行为一旦完成，除非存在法定撤销事由（如受赠人严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行等），否则赠与人不能撤销赠与并要求返还财产。

二、若你们之间构成借贷关系

1. 法律解释：借贷关系是指一方将资金出借给另一方，另一方在约定的期限内返还本金并支付利息（如有约定）的法律关系。如果对方给你卡并让你取钱，实际上是出借资金给你使用，且双方有借贷的合意（比如口头或书面约定了还款期限、利息等），那么就构成借贷关系。
2. 可能后果：在这种情况下，对方有权要求你返还这些钱。因为借贷关系中，借款人有义务按照约定的期限和方式返还借款。如果到期不还，出借人可以通过法律途径（如起诉）来追讨欠款。

三、若你们之间构成委托理财关系（如果卡内资金用于投资等）

1. 法律解释：委托理财是指委托人将其资金、证券等资产委托给受托人，由受托人将该资产投资于期货、证券等相关交易市场或通过其他金融形式进行管理，所得收益由双方按照约定进行分配或由受托人收取代理费的经济活动。如果对方给你卡并让你取钱是为了进行投资理财，且双方有委托理财的合意，那么就构成委托理财关系。
2. 可能后果：在这种情况下，资金的返还和收益分配取决于你们之间的委托理财合同约定。如果合同约定了亏损由受托人承担或双方按比例分担，那么在出现亏损时，对方可能不能要求你全额返还资金；如果合同约定了盈利分配方式，那么在盈利时，你需要按照约定向对方分配收益。如果合同没有明确约定或约定不明确，可能会引发纠纷，需要通过协商、调解或诉讼等方式来解决。

四、若存在其他特殊情况（如不当得利）

1. 法律解释：不当得利是指没有合法依据，有损于他人而取得利益。如果对方给你卡并让你取钱，但你们之间并没有赠与、借贷或委托理财等合法关系，且你取得这些钱没有合法依据，那么就可能构成不当得利。
2. 可能后果：在这种情况下，对方有权要求你返还不当得利。因为不当得利制度的目的在于调整缺乏法律依据的财产利益变动，使无法律原因而受有利益，致他人受损害者，负返还所受利益的义务。

建议：由于你描述的情况比较模糊，无法准确判断你们之间的法律关系性质。为了更好地维护你的合法权益，我建议你尽快收集相关证据（如聊天记录、转账记录、证人证言等），并咨询专业律师（也就是我啦）进行详细分析。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。