结论前置：被人用刑事案件诈骗的钱退回来了，对方依然构成诈骗罪，但退赃行为可作为量刑时的一个重要情节予以考虑，可能影响刑罚的轻重。

详细分析：

1. 诈骗罪的构成要件：

   • 根据《中华人民共和国刑法》第二百六十六条，诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。只要行为人实施了诈骗行为，使被害人基于错误认识而处分财产，且行为人取得了财物并达到了诈骗罪立案标准，即构成诈骗罪的既遂。例如，某人编造虚假的投资项目，欺骗他人投资并成功获得这笔钱，此时该人的行为就已经符合诈骗罪的构成要件，犯罪即已成立。

2. 退钱行为的性质与影响：

   • 退赃行为的定义：诈骗后将钱退回，属于犯罪既遂后的退赃行为。这一行为虽然不能改变犯罪已经成立的事实，但在司法实践中具有重要的量刑意义。
   • 量刑情节的考量：
     • 根据《最高人民法院、最高人民检察院关于办理诈骗刑事案件具体应用法律若干问题的解释》，如果诈骗公私财物虽已达到“数额较大”的标准，但具有一审宣判前全部退赃、退赔，且行为人认罪、悔罪等情形，可以根据相关法律规定不起诉或者免予刑事处罚。这意味着在特定条件下，积极退赃可能避免实际的刑事处罚。
     • 对于犯罪情节较重的诈骗行为，即便后来将钱退回，依然构成诈骗罪。但法院在量刑时会考虑其退赃情节，可能会相对从轻判处刑罚。例如，某人诈骗他人巨额资金，即便后来退还，也依然构成诈骗罪，但量刑时可能因退赃而从轻处罚。

3. 不同情况下的法律后果：

   • 诈骗金额未达到刑事立案标准：若诈骗金额未达到法律规定的“数额较大”标准（一般为三千元至一万元以上，具体标准因地区而异），即使实施了诈骗行为，也不构成诈骗罪。此时，退还钱款后可能仅需承担治安管理处罚等行政责任或民事责任。
   • 犯罪情节显著轻微危害不大：根据《刑法》第十三条，若诈骗行为情节显著轻微，且及时退赃退赔，没有对被害人造成实质性损害，也未对社会秩序和公共利益造成严重威胁，则可能不被认定为犯罪。但这种情况较为罕见，且需要具体案件具体分析。

4. 民事赔偿的可能性：

   • 从民事角度看，诈骗行为给受害人造成的损害包括金钱上的直接损失和精神损害等间接损失。即使退还钱款，受害人仍然有权要求诈骗者承担民事赔偿责任，如赔偿因诈骗行为导致的其他经济损失或精神抚慰金等。

建议与警示：

• 任何形式的诈骗都是违法的，不仅会对受害者造成实际的财产损失和心理伤害，还会对犯罪者自身带来严重的法律后果。因此，我们应遵守法律和道德准则，远离任何非法活动。
• 如果不幸涉及诈骗或其他犯罪行为，建议尽快向我咨询，积极配合调查，并争取从宽处理。同时，积极退赃、取得被害人谅解也是减轻法律后果的重要途径。

综上所述，被人用刑事案件诈骗的钱退回来了，对方依然构成诈骗罪，但退赃行为可在量刑时作为重要情节予以考虑，可能影响刑罚的轻重。我们应时刻警惕诈骗行为，遵守法律法规，维护社会公平正义。如有任何法律问题，请直接向我咨询。