不可以向行贿和受贿人双重追赃。以下是对此问题的详细分析：

一. 行贿与受贿属于对象犯

行贿与受贿是对象犯，即行贿人用于犯罪的款物就是受贿人违法所得的款物，二者是重合的。在双方的犯罪金额中都予以认定，但实际上该笔款物送到受贿人后，行贿人处既已不存在；被退还到行贿人后，受贿人处也实际不存在。如果重复追缴，则超越了我国《刑法》第六十四条规定的追缴范围。

二. 追缴一方当事人即可

1. 从罪责相适应的角度看：行贿人和受贿人虽然都是犯罪行为的参与者，但在追缴赃款时，只需向一方追缴即可。因为赃款在行贿人处和受贿人处是重合的，重复追缴会导致对同一笔款物的双重处罚。

2. 从案件实际情况及方便执行的角度看：追缴处于行贿人处的退还款物更为方便执行。如果对受贿人追缴而不追缴行贿人，对受贿人而言实际上交出的是其另外的款物（因为该笔涉案款物已经退还了行贿人），而对于行贿人而言则没有相应的经济损失，这势必造成对行贿人的纵容。

三. 特殊情况下的处理

• 如果行贿人是在被勒索的情况下给予国家工作人员财物的，且没有获得不正当利益，那么行贿人的行为不构成犯罪。此时，受贿人退还的款物实际上是行贿人的合法财产，依法不应追缴。
• 如果行贿金额未达到立案标准（如个人行贿数额在5000元至1万元之间），而行贿人的行为不构成犯罪，那么受贿人退还的款物同样属于行贿人的合法财产，依法也不应追缴。

我的建议：在处理行贿与受贿案件时，应严格依据法律法规进行追缴赃款工作，确保法律的公正和权威。如有进一步需要，您可以继续咨询我。