在没有犯罪事实发生的情况下，退赔的钱一般应当返还给退赔人，但具体处理方式需根据退赔的性质和程序来确定。以下分情况详细说明：
如果是刑事诉讼中的退赔：
- 在刑事诉讼过程中，如果侦查机关、检察机关或审判机关错误地要求当事人退赔，而事后查明并无犯罪事实发生，那么退赔的钱应当依法返还给退赔人。
- 退赔人可以通过向原要求退赔的机关提出申请，要求返还退赔的钱款。如果原机关拒绝返还或未予答复，退赔人还可以依法向人民法院提起诉讼，要求确认退赔行为无效并返还钱款。
如果是民事纠纷中的和解或调解退赔：
- 在民事纠纷中，双方当事人可能通过和解或调解的方式达成退赔协议。如果事后发现并无犯罪事实或退赔基础不存在（如误认为有侵权行为而实际并无侵权），那么退赔人可以依据和解或调解协议的相关条款，要求受赔方返还退赔的钱款。
- 如果和解或调解协议中没有明确约定返还条款，退赔人可以与受赔方协商返还事宜。如果协商不成，退赔人还可以依法向人民法院提起诉讼，要求撤销和解或调解协议中关于退赔的部分，并返还钱款。
如果是基于错误认识或欺诈的退赔：
- 如果退赔人是因为受到欺诈、误导或错误认识而进行了退赔，那么退赔人有权要求受赔方返还退赔的钱款。
- 在这种情况下，退赔人应当收集相关证据（如欺诈行为证明、误导性信息、错误认识的依据等），并依法向人民法院提起诉讼，要求确认退赔行为无效并返还钱款。
行动建议：
- 首先，明确退赔的性质和程序，确定退赔是基于刑事诉讼、民事纠纷和解/调解还是错误认识/欺诈。
- 其次，根据退赔的性质和程序，收集相关证据和文件，以支持自己的返还请求。
- 最后，与受赔方进行协商，尝试通过友好方式解决返还问题。如果协商不成，可以依法向人民法院提起诉讼，维护自己的合法权益。
在整个过程中，如果遇到任何法律难题或需要进一步的法律帮助，请随时向我咨询。