借给别人的钱还回来时不需要扣税。下面对此进行详细分析：

一. 借款归还不属于应税收入

• 根据《中华人民共和国个人所得税法》第二条，应当缴纳个人所得税的收入包括工资、薪金所得，劳务报酬所得，稿酬所得，特许权使用费所得，经营所得，利息、股息、红利所得，财产租赁所得，财产转让所得，以及偶然所得。这些所得类型中并未明确包括借出款项的收回。
• 借款的归还本质上是对原借款的清偿，不涉及任何新的经济利益的转移或产生，因此不符合个人所得税的征税原则。

二. 赠与与借款的区别

• 如果是别人赠与的钱款，则可能涉及税务问题。赠与给直系亲属的，需要缴纳个人所得税、增值税，但免缴印花税和契税；赠与给直系亲属以外的人的，则可能不免缴印花税和契税。
• 然而，这些规定并不适用于借款的归还，因为借款本身就有归还的义务，不属于无偿转让或赠与。

综上所述，借给别人的钱在还回来时不属于个人所得税的征税范围，因此无需缴纳税款。如有进一步需要，您可以继续咨询我。