诈骗人退钱既可以直接退给受害人，也可以交给警察（司法机关），具体取决于案件所处的阶段和退款的具体情况。以下是对这一问题的详细分析：
一、直接退给受害人的情况
能明确受害人且与受害人达成一致：
- 在诈骗案件中，如果犯罪嫌疑人或其家属能够明确识别出受害人，并且与受害人就退款事宜达成一致，那么犯罪嫌疑人一方可以直接将赃款退还给受害人。
- 这种直接退款的方式有助于及时恢复受害人的财产状况，体现对受害人权益的直接保护。
- 注意事项：在直接退款时，务必保留好相关退还证据，如收条、转账记录等，以备后续需要。
刑事和解或撤案阶段：
- 在侦查阶段，如果犯罪嫌疑人与受害人达成刑事和解，犯罪嫌疑人按照协议退还诈骗所得，公安机关会监督并确认退款过程。在确认款项已退还且受害人表示谅解后，公安机关可能根据情况撤案或向检察机关建议从轻处理。
二、交给警察（司法机关）的情况
案件侦查阶段：
- 在诈骗案件侦查过程中，如果犯罪嫌疑人或其家属主动退赃，或者公安机关追缴到部分或全部赃款，公安机关会暂时代管并处理退款事宜。
- 公安机关会核实受害人的身份和损失情况，并及时将追回的款项返还给受害人。
- 法律依据：根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。
案件审判阶段：
- 当诈骗案件进入审判阶段时，法院会审查认定犯罪嫌疑人的违法所得，并判决其退赔被害人的损失。
- 法院会依据生效的判决书，通过强制执行程序扣除相应的款项，并退还给被害人。
- 量刑考虑：在此阶段主动退赃退赔，可以视为犯罪嫌疑人认罪悔罪的表现，可能在量刑时从轻或减轻处罚。
存在多个受害人或退款分配问题：
- 当诈骗案件涉及多个受害人，或者退款需要按照一定比例进行分配时，将退款交给司法机关处理更为合适。
- 司法机关会根据各受害人的受损比例等因素，合理分配退赔款项，确保退款过程的公正性和透明性。
三、特殊情况处理
- 查找不到受害者或受害者已不在：如果查找不到受害者或者是受害者已经不在的情况之下，退赃款一般会直接上缴给国库。任何执法机关无权使用这笔款项，否则将承担法律责任。
四、法律建议
- 对于犯罪嫌疑人或被告人：无论案件处于哪个阶段，主动退赃退赔都是明智之举。这不仅可以减轻法律后果，还可能对量刑产生积极影响。
- 对于受害人：应积极配合司法机关的工作，提供必要的证据和信息，以便及时追回损失。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供更为详细和专业的法律建议。