是否要收回退回来的钱，需根据具体情况来判断，核心在于这笔钱的性质和背后的法律关系。以下从不同角度为您详细分析：

1. 合法交易往来中的退款

• 情形说明：如果这笔钱原本是基于合法的交易往来，比如正常的买卖、借贷等，之后因商品质量问题退款、借款提前归还等各种原因把钱退回，这种情况下通常不存在收缴问题。因为整个过程是在法律允许的范围内进行的，退款只是交易流程中的一个正常环节。
• 法律建议：在这种情况下，您可以放心地收回退回来的钱，无需担心法律后果。

2. 涉及违法所得的退款

• 情形说明：如果这笔钱原本是违法所得，例如受贿所得、违反治安管理所得的财物等，即便把钱退回，也可能面临收缴。依据相关法律规定，对于犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。
• 法律后果：以受贿为例，如果某人为了谋取不正当利益而给予他人财物，或者他人为了谋取不正当利益而收受财物，即使后来将财物退回，这笔财物仍然可能被视为违法所得而被收缴。
• 法律建议：在这种情况下，您不应收回退回来的钱，因为这可能涉及法律责任。如果对方坚持退回，您应明确告知其法律后果，并建议其通过合法途径处理。

3. 特殊情形下的退款

• 情形说明：除了上述两种情形外，还可能存在一些特殊情形，比如赠与后的反悔、错误转账等。在这些情形下，是否收回退回来的钱需要根据具体情况和法律规定来判断。
• 法律建议：
  • 对于赠与后的反悔，如果赠与合同已经成立并生效，且没有法定撤销事由，那么赠与人通常无权要求受赠人返还赠与物。但如果受赠人同意返还，且返还行为不违反法律规定和公序良俗，那么可以收回。
  • 对于错误转账，如果转账行为是由于操作失误或系统错误导致的，且收款人没有合法依据取得该笔款项，那么转账人有权要求收款人返还。在这种情况下，您可以收回退回来的钱。

总结与建议：

• 在决定是否收回退回来的钱时，您应首先明确这笔钱的性质和背后的法律关系。
• 如果涉及合法交易往来或特殊情形下的合法退款，您可以放心地收回。
• 如果涉及违法所得，您不应收回，并应建议对方通过合法途径处理。
• 在处理此类问题时，如果您有任何疑问或不确定之处，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。