索贿的钱退给受害者，受害者并不构成犯罪。接下来，我从法律角度为您详细解析这一问题：

1. 索贿行为的本质：

   • 索贿是国家工作人员利用职务上的便利，主动向他人索要财物的行为。这一行为本质上已经侵犯了职务行为的廉洁性和不可收买性，因此构成受贿罪。

2. 受贿罪的既遂与退回财物的关系：

   • 受贿罪属于行为犯，当国家工作人员实施索贿行为时，犯罪行为就已经既遂，即犯罪已经成立。
   • 即便索贿后国家工作人员将财物退回，也只是在量刑时作为从轻处罚的情节来考虑，但并不能改变其构成受贿罪的事实。

3. 受害者的角色与责任：

   • 在索贿行为中，受害者是被索要财物的对象，他们并没有主动实施任何犯罪行为。
   • 因此，无论索贿者是否退回财物，受害者都不构成犯罪。

4. 法律依据：

   • 根据《刑法》的相关规定，国家工作人员利用职务便利，索取他人财物或者非法收受他人财物并为他人谋取利益的，都属于受贿罪。
   • 索贿的，还会从重处罚。但这并不涉及受害者的刑事责任。

综上所述，索贿的钱退给受害者后，受害者并不构成犯罪。如果您或您身边的人面临类似问题，请及时向我咨询，我会为您提供更详细的法律帮助和建议。