诈骗的钱退回去了，依然可能构成犯罪，但退赃行为可以在量刑时作为从轻处罚的情节予以考虑。以下是对此问题的详细分析：
一、诈骗罪的构成与法律责任
诈骗罪是指以非法占有为目的，通过虚构事实或隐瞒真相的方法，骗取数额较大的公私财物的行为。一旦犯罪嫌疑人实施了这样的诈骗行为，并且达到了诈骗罪的立案标准，就构成了犯罪。根据《中华人民共和国刑法》第二百六十六条的规定，诈骗公私财物，数额较大的，将面临三年以下有期徒刑、拘役或者管制，并处或者单处罚金的处罚；若数额巨大或有其他严重情节，将处三年以上十年以下有期徒刑，并处罚金；对于数额特别巨大或有其他特别严重情节的，将处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。
二、退赃对量刑的影响
尽管退回诈骗所得不能消除犯罪行为带来的法律后果，但积极退赃的行为在司法实践中被视为认罪悔罪的表现，可以在量刑时被考虑。具体来说：
量刑减轻：根据最高人民法院《关于常见犯罪的量刑指导意见》，对于退赃、退赔的犯罪嫌疑人，法院会综合考虑犯罪性质、退赃退赔行为对损害结果的弥补程度、退赃退赔的数额以及主动程度等因素，减少基准刑的30%以下。这意味着，如果犯罪嫌疑人在案发后能够主动退还诈骗所得，其最终面临的刑罚可能会相对较轻。
特定情形下的免责：在特定条件下，如一审宣判前全部退赃、退赔，且行为人认罪、悔罪的，可以根据相关法律规定不起诉或者免予刑事处罚。这些条件包括具有法定从宽处罚情节、没有参与分赃或获赃较少且不是主犯、被害人谅解以及其他情节轻微、危害不大的情况。然而，这并不意味着犯罪行为未发生，而是在量刑时的考量因素。
三、不构成犯罪的特殊情况
虽然一般情况下，诈骗后退赃仍构成犯罪，但也存在一些特殊情况，可能不构成犯罪或仅构成民事欺诈：
犯罪情节显著轻微：若诈骗金额较小，及时退还且未给被害人造成实质性经济损失，根据《中华人民共和国刑法》第十三条，可因情节显著轻微危害不大而不认为是犯罪。例如，骗取500元后迅速退还，因金额未达到较大标准（一般为3000元至10000元以上），且未造成实际危害后果，可能不构成犯罪。
民事欺诈行为：在经济交往或日常生活中，通过夸大事实、隐瞒真相等手段获取不当利益，但事后及时退还并承担民事责任的行为，可被认定为民事欺诈。如商家夸大产品功效导致消费者购买，后退还货款并给予补偿，此类行为主要通过民事赔偿解决，一般不构成刑事犯罪。
四、综合考量与具体案件
需要注意的是，虽然积极退赃和取得被害人谅解都可以在一定程度上影响量刑结果，但法院在最终判决时会综合考虑案件的所有情况，包括犯罪的性质、情节、社会危害程度以及犯罪嫌疑人的悔罪表现等。因此，每个案件的具体判决结果都会有所不同。
举例说明：
构成犯罪的情况：张三通过网络诈骗骗取李四5万元，后李四报警张三才退还。此时，张三已构成诈骗罪，退还行为仅作为量刑时的从轻情节。
不构成犯罪的情况：王五因一时贪念，骗取了赵六500元，但事后立即后悔并退还了钱款，且未给赵六造成任何损失。在此情况下，王五的行为可能因情节显著轻微而不构成犯罪。
综上所述，退回诈骗所得并不能完全消除犯罪行为带来的法律后果，但积极退赃和取得被害人谅解可以作为量刑时的有利情节被考虑。如果你或你身边的人涉及此类问题，建议直接向我咨询，以便根据具体情况提供更准确的法律意见。