借给别人钱还钱的时候不需要交税。以下是对此问题的详细分析：

一. 借款本身不属于应税所得

根据《中华人民共和国个人所得税法》第二条，个人所得税的征税范围包括工资、薪金所得，劳务报酬所得，稿酬所得，特许权使用费所得，经营所得，利息、股息、红利所得，财产租赁所得，财产转让所得和偶然所得。借款本身并不属于上述任何一类所得，因此不需要缴纳个人所得税。

二. 利息收入可能需要缴税

1. 借款利息收入：如果借款双方约定了利息，并且利息收入达到了起征点，那么借款人需要就利息收入缴纳个人所得税。根据《中华人民共和国个人所得税法》第三条，利息、股息、红利所得适用比例税率，税率为百分之二十。
2. 企业代扣代缴：如果企业向个人借款并支付利息，企业需要代扣代缴个人所得税。

三. 借款双方关系不影响还款的税务处理

无论借款双方是直系亲属还是非直系亲属关系，借款的归还本质上是对原借款的清偿，不涉及任何新的经济利益的转移或产生，因此不需要缴纳个人所得税。

• 例如，父母借款给子女，子女在还款时，无论双方的关系如何，都不需要缴纳个人所得税。

综上所述，借给别人钱还钱的时候不需要交税。但需要注意的是，如果借款过程中产生了利息收入，那么借款人需要就利息收入缴纳个人所得税。我的建议是，在处理借款和还款事宜时，应明确利息的约定和税务处理，以避免不必要的税务风险。如有进一步需要，您可以继续咨询我。