被受贿人退回给行贿人的钱，在一般情况下，应当上缴。以下从几个角度详细分析这一问题：

1. 法律性质与处理原则：

   • 行贿与受贿是违法犯罪行为，涉及的钱款属于非法所得。当受贿人将钱款退回给行贿人时，这并不改变钱款的非法性质。根据法律规定，非法所得应当予以追缴或没收，上缴国库。

2. 具体处理流程：

   • 在司法实践中，如果受贿人退回钱款给行贿人，且这一行为被司法机关发现，那么这笔钱款通常会被视为赃款的一部分。司法机关会依法进行追缴，并上缴国库。
   • 如果行贿人在收到退回的钱款后，主动向司法机关上缴，这可以作为其认罪态度好的表现，在量刑时可能予以考虑。但即便如此，钱款本身仍然需要上缴国库。

3. 特殊情况下的处理：

   • 在某些特殊情况下，如行贿人已经将钱款用于其他合法用途，且无法追回原款，那么司法机关可能会根据实际情况，要求行贿人上缴等值的钱款或财产。但这并不改变钱款需要上缴的基本原则。
   • 另外，如果行贿与受贿行为已经构成了犯罪，且案件已经进入司法程序，那么无论钱款是否已经退回，都需要按照法律程序进行处理，包括追缴赃款、定罪量刑等。

4. 法律后果与警示：

   • 对于行贿人和受贿人来说，试图通过退回钱款来逃避法律制裁是不可行的。一旦被发现，不仅钱款需要上缴，还可能面临更严重的法律后果，如有期徒刑、罚金等。
   • 这一规定也警示人们，不要试图通过行贿受贿等违法手段来获取利益，否则将面临法律的严惩。

建议：

• 如果你或你身边的人涉及行贿或受贿行为，并已经收到了退回的钱款，建议立即向司法机关上缴，并主动配合调查，以争取从轻处理。
• 在日常生活中，要遵守法律法规，不要试图通过违法手段来获取利益。如果遇到法律问题或纠纷，可以及时向我咨询，我会根据你的具体情况提供专业的法律建议。