结论前置：被退回的行贿款是否应当追缴，并非一概而论，而是需要根据具体情况、行贿行为的性质、情节以及相关法律规定来综合判断。一般来说，行贿款作为违法所得，司法机关有权依法予以追缴，但也存在特殊情况可能不进行追缴。

详细分析：

1. 一般情况下应依法追缴：

   • 行贿行为严重违反了法律，破坏了社会经济秩序和公权力的廉洁性。如果行贿事实已经成立，即便行贿款后来被退回，也不能改变行贿的事实。该款项作为违法所得的一部分，司法机关有权依法予以追缴，并上缴国库。
   • 追缴是对行贿违法犯罪行为的一种制裁手段，旨在彰显法律的严肃性和权威性，同时起到威慑和预防类似犯罪的作用。例如，甲向乙行贿100万元用于谋取不正当利益，后乙因害怕被查处而将100万元退回给甲。但在此情况下，甲的行贿行为和乙的受贿行为均已构成犯罪，这100万元作为违法所得，司法机关仍有权依法追缴。

2. 特殊情况可不追缴：

   • 存在某些特殊情形时，如行贿人在被追诉前主动交待行贿行为，并且行贿款是在司法机关介入前主动退回的，且行贿人的行为同时符合法律规定的从轻、减轻或免除处罚情节，司法机关可能会综合考虑不对行贿款进行追缴。但这种情况相对较少，且必须严格依据法律规定和司法机关的判定。
   • 另外，如果能够证明被退回的资金与违法犯罪活动无关，或者它是通过合法途径获得的，那么它可能就不会被追缴。但这要求行贿人提供充分的证据来证明资金的合法性，这在实践中往往难度较大。

3. 追缴的法定程序：

   • 追缴是一种法律处罚措施，其实施需要严格遵循法定程序。司法机关在追缴行贿款时，会依法进行查封、扣押、冻结等措施，并在案件审结后依法作出处理决定。
   • 如果行贿款已经转移至境外，司法机关还可以通过国际刑事司法合作等方式进行追缴，确保违法所得不被逃避法律的制裁。

4. 退还行贿款在量刑时的考量：

   • 退还行贿款可以被视为行贿人的一种悔过表现，在量刑时可能会被法院考虑进去，作为从轻处罚的一个因素。但这并不意味着行贿款就一定不会被追缴，是否追缴仍需根据具体情况和法律规定来判断。

总结与建议： 在处理被退回的行贿款是否应追缴的问题时，需要仔细分析具体情况，并结合相关法律法规来做出判断。如果你或你身边的人面临这样的问题，建议尽快向我咨询，以便更好地了解权益和责任，以及可能的法律后果。我将根据具体情况提供针对性的法律分析和建议，帮助你做出正确的决策。