针对您提出的“索贿的钱退给受害者怎么处理”这一问题，以下是我为您提供的详细解答：

首先，需要明确的是，索贿行为本身已经构成了受贿罪，这是根据《中华人民共和国刑法》第三百八十五条明确规定的。索贿相较于一般的受贿行为，其主观恶性更大，社会危害性也更为严重。因此，不论索贿者是否为他人谋取利益，只要实施了索贿行为，就均构成受贿罪，并依法应从重处罚。

接下来，我们讨论索贿后退钱这一情节对处罚的影响：

1. 主动退钱（案发前）：

   • 如果索贿者在案发前主动将索取的财物退还，并且符合“及时退还”的相关规定（例如，因惧怕查处而提前退还，且没有造成实际损害），那么在某些情况下，可能不被视为受贿罪。但这种情况较为特殊，需要具体案件具体分析。
   • 如果不符合“及时退还”的情形，但在案发前主动退钱，这一行为仍然可以在量刑时作为从轻情节予以考虑。法院会综合考虑索贿金额、情节、退赃的主动性和彻底性等因素，可能对被告人从轻处罚，如判处相对较低的刑罚或适用缓刑。

2. 被动退钱（案发后）：

   • 如果索贿者在案发后被动退钱，虽然这一行为仍然被视为认罪悔罪的表现，但从宽幅度相对较小。不过，积极退赃仍然有助于减轻处罚。法院在量刑时，会结合整个案件的情况，在法定刑幅度内适当从轻处罚。根据相关规定，退赃行为最高可以减少基准刑的30%。

在具体量刑时，法院会根据受贿数额和情节的不同来区别对待：

• 受贿数额较大或有其他较重情节的，处三年以下有期徒刑或者拘役，并处罚金。
• 受贿数额巨大或有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金或者没收财产。
• 受贿数额特别巨大或有其他特别严重情节的，处十年以上有期徒刑、无期徒刑或者死刑，并处罚金或者没收财产。

在具体案件中，如果索贿数额较大但在案发前主动退钱，可能在三年以下有期徒刑或者拘役的幅度内从轻判处，甚至有可能适用缓刑；如果索贿数额巨大且在案发后被动退钱，则可能在三年以上十年以下有期徒刑的幅度内，考虑退赃情节适当从轻量刑。

最后，需要强调的是，退赃只能作为从轻或减轻处罚的情节，而不是免除处罚的理由。索贿是严重的违法犯罪行为，公职人员索贿将面临更严厉的处罚。量刑是一个综合考虑多种因素的过程，包括退款的金额、退款的主动性、犯罪性质以及退赃退赔行为对损害结果所能弥补的程度等。

因此，如果您或他人涉及索贿行为，建议尽快咨询专业律师，了解具体法律后果，并积极配合调查和退赃工作，以争取从轻或减轻处罚。