跟借款人只有两笔账，一笔还一笔借，仅凭此不能直接认定为诈骗。我们需要对具体情况进行详细分析：

一. 借款与还款行为的法律性质

1. 借款行为：借款人向出借人借款，形成借款合同关系。这本身是一种合法的民事行为，受法律保护。
2. 还款行为：借款人按照约定或法定方式向出借人偿还借款，是履行借款合同的行为。

二. 诈骗的构成要件

1. 欺骗行为：诈骗要求借款人以非法占有为目的，使用欺骗方法，使出借人产生错误认识。
2. 非法占有：借款人需有将借款非法占为己有，不归还的意图。
3. 因果关系：出借人因借款人的欺骗行为而陷入错误认识，并基于此错误认识处分财产。

三. 结合案情分析

1. 两笔账的情况：一笔是还款，一笔是借款。这表明双方之间存在连续的金钱往来，但并不能直接证明借款人存在诈骗行为。
2. 缺乏诈骗证据：仅凭两笔账的记录，无法证明借款人在借款时就有不归还的非法占有意图，也无法证明借款人使用了欺骗方法使出借人产生错误认识。

四. 法律判定

1. 依据不足：没有充分的证据证明借款人构成诈骗，就不能将其行为认定为诈骗。
2. 民事纠纷处理：如果借款人未按时还款，出借人可以通过民事诉讼途径追讨欠款，这属于民事纠纷范畴。

我的观点：跟借款人只有两笔账，一笔还一笔借，并不能直接认定为诈骗。需要综合考虑借款人的行为、意图以及双方的金钱往来情况，并结合诈骗的构成要件进行法律判定。如果缺乏充分的诈骗证据，就不能轻易将借款人的行为定性为诈骗。如有进一步需要，您可以继续咨询我。