结论：不正当关系给的钱能否要回来，需根据具体情况判断，主要包括是否构成赠与、是否违反公序良俗、是否属于夫妻共同财产以及是否存在欺诈或胁迫等因素。以下从不同角度详细分析：

1. 若款项构成赠与且违反公序良俗：

   • 法律背景：根据《中华人民共和国民法典》的相关规定，民事法律行为不得违反法律，不得违背公序良俗。如果一方将夫妻共同财产赠与给与其有不正当关系的第三者，这种赠与行为通常被视为违反公序良俗，因此是无效的。
   • 法律建议：在此情况下，原配可以依法向法院提起诉讼，要求确认赠与行为无效，并追回赠与的财产。法院在审理此类案件时，通常会考虑赠与行为的性质、目的以及是否违反公序良俗等因素，从而作出公正的裁决。

2. 若款项属于夫妻共同财产且未经另一方同意：

   • 法律背景：夫妻在婚姻关系存续期间所得的财产，除法律另有规定或夫妻另有约定外，属于夫妻共同财产。如果一方未经另一方同意，擅自将夫妻共同财产赠与给第三者，这种行为可能构成对另一方财产权的侵害。
   • 法律建议：原配可以依据《中华人民共和国民法典》中关于夫妻共同财产的规定，向法院提起诉讼，要求追回被赠与的财产。法院在审理时，会考虑赠与行为是否未经另一方同意、是否侵害了另一方的财产权等因素。

3. 若存在欺诈或胁迫等情形：

   • 法律背景：如果一方在赠与财产时存在欺诈或胁迫等情形，导致另一方在违背真实意愿的情况下接受了赠与，那么这种赠与行为也是无效的。
   • 法律建议：在此情况下，受赠方可以依法向法院提起诉讼，要求撤销赠与行为并追回财产。同时，如果欺诈或胁迫行为构成犯罪，受赠方还可以向公安机关报案，追究赠与方的刑事责任。

4. 若款项为个人财产且赠与行为合法：

   • 法律背景：如果一方使用的是其个人财产进行赠与，且赠与行为本身不违反法律或公序良俗，那么这种赠与行为可能是有效的。
   • 法律建议：然而，即使在这种情况下，如果赠与行为涉及到了夫妻共同财产的管理或处分问题，也可能引发夫妻之间的纠纷。因此，建议在进行任何赠与行为前，都应充分考虑其法律后果，并咨询专业律师的意见。

可能法律后果：

• 如果法院认定赠与行为无效或应撤销，那么受赠方需要返还赠与的财产。
• 如果赠与行为涉及到了欺诈或胁迫等情形，赠与方可能还需要承担刑事责任。
• 在处理此类纠纷时，法院还会考虑双方的经济状况、过错程度等因素，以作出公平合理的裁决。

进一步思考：

• 在处理不正当关系给的钱能否要回来的问题时，除了考虑法律因素外，还应考虑道德和社会因素。
• 如果可能的话，双方可以尝试通过协商或调解的方式解决纠纷，以减少对彼此的伤害和负面影响。
• 在任何情况下，都应尊重法律和道德准则，避免采取过激或违法的行为来解决问题。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。