结论：把钱退给对方了，仍然可能构成诈骗罪，但积极退赃可以在量刑时作为从轻或减轻处罚的情节。以下从不同角度为你详细分析：
从犯罪认定角度
诈骗罪是指以非法占有为目的，通过虚构事实或隐瞒真相的方法，骗取数额较大的公私财物的行为。根据《中华人民共和国刑法》第二百六十六条的规定，诈骗公私财物，数额较大的，即构成诈骗罪。当犯罪嫌疑人实施了诈骗行为，并达到了刑法规定的入罪标准（一般来说，诈骗公私财物价值三千元至一万元以上属于“数额较大”，具体数额标准因各地经济发展水平不同而有所差异），犯罪即已既遂。这意味着，从其完成诈骗行为、取得财物的那一刻起，犯罪就已经成立，并不以是否退还财物为犯罪成立的前提条件。
例如，甲编造理由骗乙购买低价房产，乙信以为真，给甲转了50万元，甲拿到钱后肆意挥霍。即便后来甲在警方介入调查下因害怕而退还了这50万元，但甲起初的诈骗行为已经完成并既遂，依然构成诈骗罪。
从量刑角度
虽然退赃不影响犯罪的认定，但在量刑时，积极退赃是一个重要的从轻处罚情节。根据《最高人民法院、最高人民检察院关于办理诈骗刑事案件具体应用法律若干问题的解释》第三条的规定，诈骗公私财物虽已达到“数额较大”的标准，但如果一审宣判前全部退赃、退赔，且行为人认罪、悔罪的，可以根据相关法律规定不起诉或者免予刑事处罚。即便不符合不起诉或免予刑事处罚的条件，退赃也可以在量刑时作为酌情从轻处罚的情节。法院在量刑时会考虑犯罪嫌疑人积极退赃的态度，适当减轻刑罚。
具体来说，诈骗罪的量刑标准根据诈骗数额的大小和情节的严重程度来确定：
从民事责任与刑事责任角度
值得注意的是，诈骗罪的犯罪分子被判刑后，还需要承担民事赔偿责任。判刑只是刑事责任的承担方式，不能代替民事责任。除非原告主动放弃赔偿要求，否则债务仍然存在。如果判决后犯罪分子无力偿还，可以与受害人协商分期还钱。
建议：如果你或身边的人涉及此类情况，一定要积极配合司法机关的调查，如实陈述事实，主动退赃，争取从轻处理。同时，要认识到诈骗行为的严重性，遵守法律法规，避免再次触犯法律。如果你还有其他关于刑事案件（金融诈骗辩护）或合同纠纷方面的法律问题，都可以直接向我咨询。