要回行贿的钱不算谋取不正当利益。下面是对此问题的详细分析：

一. 行贿与谋取不正当利益的界定

1. 根据《中华人民共和国刑法》第三百八十九条，行贿罪是指为谋取不正当利益，给予国家工作人员以财物的行为。这里的“谋取不正当利益”是行贿罪的构成要件之一，指的是行贿人通过给予财物，意图获取违反法律、法规、规章或者政策规定的利益。
2. 要回行贿的钱，并不涉及通过给予财物来谋取新的不正当利益。这一行为更多地是行贿人对自己先前违法行为的纠正，或是出于对自身利益的考量（如避免法律追究），而非为了获取新的不正当利益。

二. 行贿后的退款行为

1. 在实践中，行贿人主动退回行贿款项，往往被视为一种悔过表现，可能对其后续的法律责任产生积极影响。
2. 退款行为本身并不构成新的犯罪，也不属于谋取不正当利益的范畴。它更多地是行贿人对自身违法行为的反思和纠正。

三. 法律责任的考量

1. 行贿人是否承担法律责任，以及承担何种法律责任，应综合考虑其行贿的动机、数额、情节以及退款的时间、方式等因素。
2. 退款行为虽不构成谋取不正当利益，但并不能完全消除行贿行为本身的违法性。行贿人仍需根据具体情况承担相应的法律责任。

综上所述，要回行贿的钱并不构成谋取不正当利益。但行贿行为本身仍是违法的，行贿人应依法承担相应的法律责任。如有进一步需要，您可以继续咨询我。