把钱退回一般不算受贿，但具体是否构成受贿罪需结合实际情况判断。以下从多个角度为您详细分析：
一、受贿罪的基本构成
根据《中华人民共和国刑法》第三百八十五条的规定，受贿罪是指国家工作人员利用职务上的便利，索取他人财物的，或者非法收受他人财物，为他人谋取利益的行为。其构成要件包括：
- 主体要件：犯罪主体是国家工作人员。
- 主观要件：行为人具有利用职务之便，索取或收受贿赂，为他人谋取利益的主观故意。
- 客体要件：侵犯的客体是国家机关的正常管理活动和公务人员的廉洁性。
- 客观要件：表现为行为人实施了利用职务上的便利，索取或非法收受他人财物，为他人谋取利益的行为。
二、退钱行为对受贿罪认定的影响
及时退还或上交的情况：
- 如果国家工作人员收受请托人财物后及时退还或者上交的，通常不被认定为受贿。这里的“及时”一般理解为在较短时间内，如数日内或一周内，且没有实际使用或消费该财物。
- 退还或上交的原因可能是出于良心发现、害怕被查处或其他正当理由。例如，某国家工作人员在收到财物后，立即意识到这是不正当的，于是迅速将财物退还给了行贿人，这种情况下一般不构成受贿罪。
非及时退还或上交的情况：
- 如果国家工作人员收受财物后，经过较长时间才退还或上交，或者已经实际使用或消费了部分或全部财物，再退还剩余部分的，可能被视为受贿未遂或既遂后的退赃行为。
- 在这种情况下，即使最终退还了财物，也可能因为已经构成了受贿罪的实行行为而面临刑事责任，但可以从轻或减轻处罚。例如，某国家工作人员在收受财物后，过了几个月才退还，且在此期间已经使用了部分财物，这种情况下可能构成受贿罪，但退还行为可以作为量刑时的考虑因素。
退还动机和情节的影响：
- 退还的动机和情节也是判断是否构成受贿罪的重要因素。如果是因为自身或与其受贿有关联的人、事被查处，为掩饰犯罪而退还或者上交的，不影响受贿罪的认定。
- 如果是因为其他原因，如与行贿人关系破裂、担心被发现等而退还的，需要结合具体情况进行判断。例如，某国家工作人员在收受财物后，因与行贿人发生矛盾而退还财物，这种情况下仍可能构成受贿罪，但退还行为可能表明其主观恶性相对较小。
三、司法实践中的考量因素
证据收集：
- 司法机关会全面收集证据，包括财物来源、退还时间、退还方式、退还原因等，以综合判断行为人的主观意图和行为性质。例如，通过调查行贿人和受贿人的银行交易记录、通讯记录等，来查明财物的流转情况和退还的真实性。
法律适用：
- 法院会根据案件事实和法律规定，对行为人的行为进行定性。如果认为行为人具有受贿的主观故意，并实施了受贿的客观行为，即使后来退还了财物，也可能认定为受贿罪。但退还行为可以作为量刑时的从轻或减轻情节。
总结与建议：
- 如果您或您身边的人涉及此类情况，建议尽快咨询专业律师，以便根据具体情况进行法律分析和风险评估。
- 在日常生活中，应时刻保持警惕，避免陷入受贿的陷阱。如果收到不正当的财物，应立即退还或上交，并保留好相关证据，以证明自己的清白。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。