受贿人退回给行贿人的涉案款物，作为违法所得，应当依法予以追缴。以下是关于如何追缴这些款物的详细解答：
一、追缴方式
由监察机关或检察机关直接追缴：
- 根据《中华人民共和国监察法实施条例》的相关规定，监察机关在调查过程中，对违法取得的财物及孳息有权决定追缴或责令退赔，并可依法要求公安机关提供协助。同时，检察机关在办理职务犯罪案件时，也会对涉案财物进行查封、扣押、冻结，并在案件审结后依法作出处理。
通过人民法院判决追缴：
- 在受贿案件的审判过程中，人民法院会根据查明的事实和法律规定，对受贿人退还给行贿人的赃款作出处理。如果认定该款项为受贿所得，法院将依法判决追缴。此外，对于已经转移至境外的赃款，还可以通过国际刑事司法合作等方式进行追缴。
利用反洗钱机制追缴：
- 如果退还给行贿人的赃款涉及洗钱等违法犯罪活动，相关部门可以利用反洗钱机制进行调查和追缴。这包括追踪资金流向、查询银行账户交易记录等手段，以锁定赃款的去向并采取相应的追缴措施。
二、追缴对象的选择
- 从罪责相适应、案件实际情况及方便执行的角度考虑，通常应向行贿人追缴。因为该笔退还款物本身处于行贿人处，如果对受贿人追缴而不追缴行贿人，对受贿人而言实际上交出的是其另外的款物，而行贿人则可能因此没有受到应有的经济处罚，这势必造成对行贿人的纵容。
三、法律依据
- 《中华人民共和国刑法》第六十四条规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。同时，第三百八十六条规定了对犯受贿罪的处罚，并指出受贿人将受贿款物退还的，不影响受贿罪的认定，但可作为量刑情节考虑。
- 《中华人民共和国监察法实施条例》第二百零九条明确了监察机关对违法取得的财物及孳息的追缴权力。
- 其他相关法律法规，如《中华人民共和国刑事诉讼法》、《中华人民共和国反洗钱法》等，也为赃款的追缴提供了法律依据和操作指南。
综上所述，对于受贿人退回给行贿人的涉案款物，应依法予以追缴。追缴方式可以根据具体情况选择由监察机关、检察机关直接追缴，或通过人民法院判决追缴，以及利用反洗钱机制追缴。在追缴对象的选择上，通常应向行贿人追缴，以确保法律的公正执行和犯罪的有效打击。