被骗的钱要回来赔偿部分不需要交税。下面是对此问题的详细分析：

一. 赔偿款不属于应税收入

1. 根据《中华人民共和国个人所得税法》的相关规定，个人所得税是对个人所得收入进行征税，包括工资、稿酬、奖金、利息、租金等多种形式的收入。但赔偿款并不属于这些应税收入的范围，因此不需要缴纳个人所得税。
2. 赔偿款是对受害者因被骗而遭受的经济损失的一种补偿，其性质更接近于“恢复原状”，而非“取得收入”。

二. 赔偿款不涉及增值税等流转税

1. 增值税等流转税是对商品或服务的流转过程中产生的增值部分进行征税。赔偿款并非商品或服务的交易，因此不涉及增值税等流转税的征收。
2. 在实际操作中，赔偿款通常是通过银行转账等方式直接支付给受害者，不会开具发票或收据等税务凭证，这也进一步说明了赔偿款不涉及税务问题。

综上所述，被骗的钱要回来赔偿部分不需要交税。这是因为赔偿款不属于应税收入，也不涉及增值税等流转税的征收。如有进一步需要，您可以继续咨询我。