退给行贿人的赃款，应当依法向行贿人进行追缴。以下从多个角度为您详细分析：
一、追缴的法律依据
《中华人民共和国刑法》第六十四条：
- 犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。在受贿案件中，受贿人退还给行贿人的款项，若被认定为违法所得，则依法应予以追缴。
《中华人民共和国监察法实施条例》第二百零九条：
- 监察机关经调查，对违法取得的财物及孳息决定追缴或者责令退赔的，可以依法要求公安等部门以及银行等机构、单位予以协助。这为监察机关追缴退给行贿人的赃款提供了明确的法律支持。
二、追缴的方式
由监察机关或检察机关直接追缴：
- 监察机关在调查过程中，若发现受贿人已将赃款退还给行贿人，可以依法要求行贿人退还该款项，或者通过其他合法手段进行追缴。
- 检察机关在办理职务犯罪案件时，也会依法对涉案财物进行查封、扣押、冻结，并在案件审结后依法作出处理，包括追缴退给行贿人的赃款。
通过人民法院判决追缴：
- 在受贿案件的审判过程中，人民法院会根据查明的事实和法律规定，对受贿人退还给行贿人的赃款作出处理。如果认定该款项为受贿所得，法院将依法判决追缴。
利用反洗钱机制追缴：
- 如果退还给行贿人的赃款涉及洗钱等违法犯罪活动，相关部门可以利用反洗钱机制进行调查和追缴。例如，通过追踪资金流向、查询银行账户交易记录等手段，锁定赃款的去向并采取相应的追缴措施。
三、追缴的合理性
- 从罪责相适应的角度：行贿与受贿属于对合犯罪，对于同一笔犯罪事实而言，行受贿双方权钱交易所涉及的财物既是行贿罪的犯罪对象也是受贿罪的犯罪对象。因此，在受贿人将赃款退给行贿人的情况下，向行贿人追缴该款项是合理的，以避免重复追缴和超越法律规定的追缴范围。
- 从案件实际情况及方便执行的角度：该笔退还款物本身处于行贿人处，向行贿人追缴更为直接和有效。如果对受贿人追缴而不追缴行贿人，对受贿人而言实际上交出的是其另外的款物，因为该笔涉案款物已经退还了行贿人；对于行贿人而言，之前送出去的贿赂款还得以收回，没有相应的经济损失，这势必造成对行贿人的纵容。
四、特殊情况的处理
- 如果行贿人善意取得涉案财物：根据《最高人民法院关于刑事裁判涉财产部分执行的若干规定》，第三人善意取得涉案财物的，执行程序中不予追缴。但作为原所有人的被害人（如国家或集体）对该涉案财物主张权利的，人民法院应当告知其通过诉讼程序处理。不过，在行贿受贿案件中，这种情况较为罕见，因为行贿人通常明知款项的性质。
建议：在实际操作中，如果涉及退给行贿人的赃款追缴问题，建议及时咨询专业律师或相关执法部门，以确保追缴程序的合法性和有效性。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。