如果诈骗的钱打到了你的卡上，是否应该退回，这取决于你对该款项的知情程度以及款项与你的关系。以下是不同情况下的详细分析：
明知是诈骗所得而接收：
- 如果你明知该款项是诈骗所得，仍然接收，那么你可能构成掩饰、隐瞒犯罪所得罪等犯罪。在这种情况下，你不仅需要退赔，还可能面临刑事处罚。
不知情且款项与正常经济往来无关：
- 如果你对该款项的来源并不知情，且该款项与你的正常经济往来无关，那么在司法机关要求你协助时，你应当配合退还。因为虽然你无主观故意，但该款项毕竟是违法所得，需要退给被害人。
款项与正常业务有合理关联：
- 如果该款项与你的正常业务有合理关联，且你是善意接收，同时没有证据表明你应知晓该款项来源违法，那么通常你无需退赔。但在司法机关调查时，你有义务如实说明并提供证据。
法律依据：
- 根据《中华人民共和国刑法》第六十四条，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。因此，即使你不知情，卡内的诈骗款项也可能被认定为违法所得，需要退赔。
- 同时，根据《民法典》关于不当得利的规定，没有合法根据取得不当利益，造成他人损失的，应当将取得的不当利益返还受损失的人。
综上所述，如果诈骗的钱打到了你的卡上，你应该根据自己对款项的知情程度以及款项与你的关系来决定是否退回。在不确定的情况下，建议及时向公安机关报案并配合调查，以维护自己的合法权益。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。