银行直接转到卡上的钱是否算诈骗，不能一概而论，需要结合具体情况进行综合判断。以下从不同角度为你详细分析：

1. 正常经济往来情况

如果银行转账是基于正常的交易、借贷关系，双方有明确的约定和往来，那么即使转账后出现一些纠纷，也通常不属于诈骗行为。例如，你与朋友之间有合法的借贷协议，你通过银行转账将借款借给朋友，后续朋友因经济困难暂时无法还款，这属于民事纠纷范畴，可通过协商、调解或诉讼等民事途径解决，而不构成诈骗。

2. 存在欺诈行为情况

如果对方在转账时就有非法占有财物的故意，通过虚构事实、隐瞒真相等手段骗取转账，那么就可能构成诈骗。比如，有人谎称自己遭遇紧急情况需要借钱，或者编造一个虚假的投资项目，承诺高额回报，诱使你通过银行转账将钱款转给他，之后却消失不见或者拒绝还钱，这种情况下对方的行为就可能构成诈骗。

3. 判断是否构成诈骗的关键因素

• 主观故意：要考察对方获取资金时是否有非法占有的目的。如果对方从一开始就没有打算归还钱款，而是想通过欺骗手段将你的钱据为己有，那么主观上就具有诈骗的故意。
• 客观行为：对方是否实施了虚构事实、隐瞒真相等欺骗行为。例如，编造虚假的身份、项目、理由等，让你产生错误的认识，从而基于这种错误认识将钱款转给他。
• 转账数额和后果：如果转账数额较小，可能不构成刑事犯罪，但可能涉及民事纠纷，需要通过民事途径解决。如果数额较大，达到刑事立案标准（根据《最高人民法院、最高人民检察院关于办理诈骗刑事案件具体应用法律若干问题的解释》第一条，诈骗公私财物价值三千元至一万元以上、三万元至十万元以上、五十万元以上的，应当分别认定为刑法第二百六十六条规定的“数额较大”、“数额巨大”、“数额特别巨大”），且符合诈骗的构成要件，就可能构成诈骗罪，将面临刑事处罚。

4. 应对建议

• 如果你对转账行为是否存在诈骗有疑虑，可以先联系银行，了解转账的具体情况和对方账户信息。
• 必要时向公安机关报案，由专业机关进行认定和调查。公安机关会根据收集到的证据，判断对方的行为是否构成诈骗，并依法进行处理。

总之，不能单纯以银行直接转到卡上的钱就认定为诈骗，需要根据具体情况进行综合判断。如果你在金融诈骗方面还有其他疑问，或者遇到了类似的法律问题，都可以直接向我咨询。