被骗后有对方姓名和卡号，并不意味着对方有责任直接退还钱款，是否需退还需根据具体情况判断。针对这一问题，我们可以从以下几个方面进行分析：
一. 对方是否构成诈骗
- 诈骗行为的定义：根据《中华人民共和国刑法》的相关规定，诈骗公私财物，数额较大的行为构成诈骗罪。若对方以非法占有为目的，通过虚构事实或隐瞒真相的方法骗取你的财物，则可能构成诈骗罪。
- 责任判定：若对方构成诈骗罪，其需承担刑事责任，并可能面临罚金、有期徒刑等刑罚。在此情况下，追缴诈骗财物是刑事诉讼程序的一部分，由司法机关负责执行，而非由受害者直接要求对方退还。
二. 追缴与退还
- 追缴条件：根据《最高人民法院、最高人民检察院关于办理诈骗刑事案件具体应用法律若干问题的解释》，若行为人已将诈骗财物用于清偿债务或转让给他人，且存在特定情形（如对方明知是诈骗财物而收取、对方无偿取得诈骗财物等），则应当依法追缴。
- 退还情况：若诈骗财物尚未被转移或消耗，且司法机关能够追缴到该财物，则可能会根据法律规定退还给受害者。但这一过程需通过司法程序进行，而非由受害者直接要求对方退还。
三. 民事追偿途径
- 民事诉讼：若对方不构成诈骗罪，或诈骗财物无法追缴，你仍可通过民事诉讼途径要求对方承担民事责任，赔偿你的损失。在此情况下，你需要提供充分的证据证明对方存在欺诈行为，并因此导致你的财产损失。
- 执行程序：若法院判决对方承担赔偿责任，但对方拒不履行，你可申请法院强制执行，包括查封、冻结对方银行账户等措施，以追回你的损失。
综上所述，被骗后有对方姓名和卡号，并不意味着对方有责任直接退还钱款。是否需退还需根据对方是否构成诈骗、诈骗财物是否可追缴以及民事追偿途径的实际情况来判断。我建议你在发现被骗后，及时报警并寻求法律帮助，以便通过合法途径维护自己的权益。如有进一步需要，您可以继续咨询我。