结论：前妻出轨并不直接决定能否要求退还已给的钱款，这主要取决于钱款的性质以及双方的具体约定和法律规定。以下从不同角度进行分析：
一、钱款性质决定能否退还
赠与性质的钱款：
- 如果给前妻的钱款属于赠与性质，且赠与行为已经完成，那么在没有法定撤销事由的情况下，一般不能要求退还。
- 法定撤销事由通常包括：受赠人严重侵害赠与人或者赠与人近亲属的合法权益；受赠人对赠与人有扶养义务而不履行；受赠人不履行赠与合同约定的义务等。出轨行为本身并不直接构成法定撤销事由，除非能证明出轨行为严重侵害了赠与人的合法权益。
借款性质的钱款：
- 如果给前妻的钱款属于借款性质，那么无论前妻是否出轨，借款人都应当按照约定返还借款。
- 在这种情况下，出轨行为并不影响借款关系的成立和履行，借款人应当承担还款责任。
彩礼或婚约财产：
- 如果给前妻的钱款属于彩礼或婚约财产，且双方未办理结婚登记手续或办理结婚登记手续但确未共同生活，或者婚前给付并导致给付人生活困难，那么可以要求退还。
- 出轨行为本身并不直接决定彩礼或婚约财产的退还，但如果在婚姻关系存续期间出轨，且该行为导致婚姻破裂，可能在一定程度上影响法院对彩礼或婚约财产退还问题的判断。
二、双方约定和法律规定
双方约定：
- 如果双方在给钱时或之后有明确的约定，比如约定如果前妻出轨则需退还钱款，那么这种约定是具有法律效力的。
- 在这种情况下，如果前妻确实出轨，那么你可以依据约定要求她退还钱款。
法律规定：
- 除了上述提到的法定撤销事由和彩礼或婚约财产的退还规定外，还需要考虑其他相关法律规定。
- 例如，如果给前妻的钱款属于夫妻共同财产，且你在未经另一方同意的情况下擅自处分，那么可能面临法律上的风险。在这种情况下，出轨行为并不是决定因素，而是财产处分行为的合法性。
三、实际操作建议
收集证据：
- 如果你想要要求前妻退还钱款，首先需要收集相关证据来证明钱款的性质、双方约定以及前妻的出轨行为。
- 证据可以包括转账记录、聊天记录、证人证言等。
协商解决：
- 在收集到足够证据后，可以尝试与前妻进行协商解决。通过沟通协商，双方可以达成一致意见并签订书面协议。
法律途径：
- 如果协商无果，你可以考虑通过法律途径来解决问题。可以向法院提起诉讼，要求前妻退还钱款。
- 在诉讼过程中，需要提交相关证据来支持自己的主张，并接受法院的审理和判决。
最后，我想强调的是，每个案件都有其独特性和复杂性。在处理类似问题时，建议你根据具体情况咨询专业律师（即我本人，王富利律师，专注于刑事辩护、离婚财产纠纷、建设工程领域），以便获得更具体、更准确的法律建议。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。