诈骗对方把钱退回来，依然可能构成诈骗罪。诈骗罪的认定主要看行为人是否以非法占有为目的，通过虚构事实、隐瞒真相的方法，骗取数额较大公私财物。一旦实施了这些诈骗行为，犯罪即已成立。即便事后将诈骗所得钱财退还，也只是在量刑时会作为一个从轻处罚的情节予以考虑，但并不能改变其诈骗犯罪的本质。
诈骗罪的构成：诈骗罪的核心在于行为人是否以非法占有为目的，通过欺骗手段骗取他人财物。如果行为人在诈骗时就已经有了非法占有的目的，并且实施了欺骗行为，那么即使后来将钱退回，也不能否认其诈骗的事实。
退赃对量刑的影响：虽然退赃可以在量刑时作为一个从轻处罚的情节，但这并不意味着退赃后就不构成诈骗罪。退赃只能表明行为人有悔罪表现，法院在量刑时会酌情从轻，但并不能改变诈骗犯罪的定性。
法律条款：根据《中华人民共和国刑法》第二百六十六条的规定，诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。
综上所述，诈骗对方把钱退回来，并不能改变其诈骗的事实和性质，依然可能构成诈骗罪。只是在量刑时，退赃可以作为一个从轻处罚的情节予以考虑。如果你或你身边的人遇到了类似的情况，建议及时咨询专业律师，以便更好地了解自己的法律权益和可能的法律后果。