受贿被调查期间退赃，是否需要追缴赃款，需根据具体情况而定。

1. 若受贿人已将赃款退给行贿人：

   • 在受贿人已将受贿款退给行贿人的情况下，受贿人并不存在实际的受贿所得。此时，若行贿人仍持有该笔款物，则依法应向行贿人追缴该笔赃款。因为该财物原本是行贿人用于行贿的财物，依法应当予以没收。
   • 对于受贿人，由于其已经将赃款退还，因此在没有其他受贿所得的情况下，通常不再对其追缴该笔赃款。

2. 若受贿人未将赃款退给行贿人：

   • 在受贿人未将受贿款退给行贿人的情况下，行贿人用于行贿犯罪的财物已转移为受贿人的犯罪所得。此时，无论行贿人是否主动退出赃款，都不影响对受贿人受贿所得的追缴。
   • 对于行贿人主动退出的赃款，由于其已经用于行贿犯罪，依法也应予以没收。

3. 特殊情况的考虑：

   • 如果受贿人是在得知可能被调查或为了掩饰犯罪而退还赃款，这种退还并不影响受贿罪的认定，该笔赃款仍然属于应予追缴的范畴。
   • 如果行贿人因被勒索而给予财物，且没有获得不正当利益，则不构成行贿。在这种情况下，受贿人退还的财物实际上属于行贿人的合法财产，不应以追缴赃款的名义扣押。

综上所述，受贿被调查期间退赃是否需要追缴赃款，取决于赃款是否已退还行贿人、退还的动机以及行贿人是否构成犯罪等因素。在具体案件中，应综合考虑这些因素来作出判断。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。