诈骗人退还被害人钱款时，被害人可以不接受，但通常不建议这么做。以下从不同角度为您详细分析：

法律角度

• 诈骗所得的性质：诈骗所得属于违法所得，依据法律规定应当返还给被害人，这是维护被害人财产权益的重要体现。例如，在司法实践中，司法机关成功追回涉案款项后，会遵循将违法所得返还被害人的原则处理案件。
• 被害人的权利与义务：被害人有权利接受退还的钱款，这是其合法财产权益的恢复。虽然被害人也有权利不同意退回已追回的涉案款项，但若不同意退回，需有正当理由。无合理缘由拒绝受领，不仅可能对自身权益保障不利，也不符合法律维护财产权益的目的。

实际操作角度

• 接受退款的好处：
  • 弥补财产损失：接受退款能够直接弥补被害人因诈骗行为遭受的财产损失，是合理的权益救济方式。比如，小朱遭遇小胡诈骗后，小胡家属愿意退还诈骗所得，小朱接受退款就能挽回自己的经济损失。
  • 影响量刑情节：诈骗人积极退赃在量刑时可作为从轻处罚情节考虑。这意味着，被害人接受退款在一定程度上有助于促使诈骗人得到更公正的量刑处理，同时也体现了法律对积极退赃行为的鼓励。
• 不接受退款的可能后果：司法机关一般会将违法所得返还被害人，若被害人无合理理由拒绝受领，司法机关会按法定程序处理款项。这种情况下，被害人可能会错过及时挽回损失的机会，而且后续若想再主张相关权益，可能会面临更复杂的法律程序和举证困难。

注意事项角度

• 做好记录：如果被害人决定接受退款，应做好相关记录，比如签订书面退款协议、保留转账凭证等，明确退款性质、金额、时间等信息，避免后续可能出现的纠纷。
• 配合司法机关：被害人要积极配合司法机关工作，按要求提供相关材料和信息。若对退钱事宜有疑问，可及时与办案机关沟通，以确保退款流程的顺利进行和自身权益的有效保障。

建议：在诈骗案件中，当诈骗人退还钱款时，被害人一般应接受退款，这既有利于自身财产权益的恢复，也符合法律的规定和精神。如果您在处理此类问题时遇到任何疑问或需要进一步的法律帮助，可以直接向我咨询，我会为您提供专业的法律意见。