把钱退回是否算贿赂，需依情况判断。判定关键在于收受财物时的主观故意及退还财物的原因与时间节点。以下是具体的分析：

1. 及时退还或上交的情况：

   • 若国家工作人员收受请托人财物后及时退还或上交，一般不认定为受贿。这里的“及时”体现了主观上无受贿故意，客观上快速退还或上交。例如，因对方强行留下财物，国家工作人员在短时间内主动退还或上交，可认定无受贿故意，不构成犯罪。

2. 因被查处而退还的情况：

   • 若国家工作人员受贿后，因自身或关联人、事被查处，为掩饰犯罪而退还或上交，则仍认定为受贿。因其收受财物时已有受贿故意和行为，事后退还只是逃避制裁手段。

3. 法律后果：

   • 根据相关司法解释，国家工作人员及时退还或上交的，不是受贿。但若受贿行为已完成，达到刑法规定的受贿罪立案标准，即便事后退款，也只是在量刑时可能会作为从轻情节予以考虑，仍要承担相应刑事责任。

4. 特殊情形：

   • 如收受财物后，即便使用部分再退回，或收受钱款后又以恰当方式（如用于交纳行贿人所欠债务）退还，通常仍算受贿，但可作为量刑情节予以考虑。若国家工作人员能证明退回财物是基于真诚悔悟、确有悔改表现等正当理由，可能会在量刑上予以从宽考虑。

综上所述，把钱退回是否算贿赂，需根据具体情况判断，特别是要考虑收受财物时的主观故意及退还财物的原因与时间节点。如有任何疑问或需要进一步的法律咨询，请直接向我提问。