退回的受贿款应由监察机关、检察机关或人民法院依法追缴，最终上缴国库。以下是具体分析：
一、追缴主体与方式
监察机关或检察机关直接追缴：
- 根据《中华人民共和国监察法实施条例》第二百零九条，监察机关经调查，对违法取得的财物及孳息决定追缴或者责令退赔的，可以依法要求公安机关等部门提供协助。这意味着，监察机关在查明受贿事实后，有权直接追缴退回的受贿款。
- 检察机关在办理职务犯罪案件时，也会依法对涉案财物进行查封、扣押、冻结，并在案件审结后依法作出处理，包括追缴退回的受贿款。
通过人民法院判决追缴：
- 在受贿案件的审判过程中，人民法院会根据查明的事实和法律规定，对受贿人退还给行贿人的赃款作出处理。如果认定该款项为受贿所得，法院将依法判决追缴。
- 对于已经转移至境外的赃款，法院也可以通过国际刑事司法合作等方式进行追缴。
二、法律依据
《中华人民共和国刑法》第六十四条：
- 该条款明确规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。这意味着，无论受贿款是否已被退回，只要其被认定为违法所得，就应当被追缴。
《中华人民共和国刑法》第三百八十六条：
- 该条款对受贿罪的处罚作出了规定，并指出受贿人将受贿款物退还的，不影响受贿罪的认定，但可作为量刑情节考虑。这进一步说明了，退回的受贿款仍然属于违法所得，应当被追缴。
《中华人民共和国监察法实施条例》第二百零九条：
- 如前所述，该条例明确了监察机关对违法取得的财物及孳息的追缴权力，为追缴退回的受贿款提供了法律依据。
三、特殊情况下的处理
及时退还或上交的情形：
- 如果国家工作人员在收受请托人财物后，能够及时将财物退还或者上交给有关部门，且主观上没有受贿的故意，那么这种行为不构成受贿。但在此情形下，若财物已被认定为受贿所得并退回，监察机关或检察机关仍会依法进行追缴，以确保违法所得不被非法占有。
因查处而退还或上交的情形：
- 如果官员是在得知自己或与其受贿有关联的人、事被查处后，为掩饰犯罪而匆忙退还或上交受贿财物，那么这种退还行为并不影响受贿罪的认定。此时，受贿犯罪行为已经完成，退还只是事后对赃款的一种处理。监察机关或检察机关会依法追缴这些退回的受贿款，并上缴国库。
四、追缴后的处理
- 追缴回来的受贿款，会依法上缴国库，不得挪用和自行处理。这是为了确保违法所得不被非法占有，维护社会的公平和正义。
在实际操作中，如果涉及退回受贿款的情况，建议尽快与监察机关、检察机关或人民法院联系，了解具体的追缴程序和要求。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。