如果借钱给别人，在还款时不知道收到的是赃款，一般情况下是不需要退回的。下面我详细为你解释一下这个问题：

1. 不知情的情况下收到赃款：

   • 在你借钱给别人时，如果并不知道对方还款的资金来源是赃款，那么你在主观上并没有任何恶意或过错。
   • 根据法律原则，对于不知情且没有参与犯罪行为的人来说，他们不应承担因他人犯罪行为而产生的法律后果。

2. 赃款的法律性质：

   • 赃款是犯罪分子通过非法手段获得的财物，其本身具有非法性。
   • 但是，当你作为债权人收到还款时，你并不知晓其来源，因此你的收款行为在法律上是合法的。

3. 可能的法律后果：

   • 如果事后发现所收款项为赃款，并且你能够证明自己在收款时确实不知情，那么你通常不需要承担法律责任。
   • 当然，如果有关部门要求你协助调查或提供相关证据，你有义务予以配合。

4. 特殊情况的考虑：

   • 如果在借款时，你明确知道或应当知道对方还款的资金来源可能存在问题（例如，对方明确告知你款项来源不正当），那么你在收款时就可能涉及法律风险。
   • 在这种情况下，如果你仍然接受还款，可能会被视为与犯罪分子有共谋或协助其隐藏、转移赃款的嫌疑。

综上所述，如果你在借钱给别人时并不知道还款为赃款，并且能够证明自己的不知情和无过错，那么你通常不需要退回所收款项。但是，如果事后发现相关情况，你应积极配合有关部门的调查工作。如果你对此类问题还有任何疑问或需要进一步的法律帮助，请随时向我咨询。