结论：一方出轨付出的钱，另一方在特定情况下是可以追回的，这主要取决于资金的性质、用途以及是否有明确的法律依据。以下是对此问题的详细分析：
一、资金性质与追回可能性
赠与性质的资金：
- 如果出轨方在婚姻期间自愿将财产赠予第三者，且该赠予行为已完成（如转账、购买礼物等），对于小额、日常的赠与，通常视为无条件赠与，一般难以追回。
- 但若赠予行为涉及大额财产，且严重损害了配偶的财产权益，配偶可以基于违背公序良俗等理由，要求确认赠与行为无效，并通过法律途径追回钱款。特别是当赠与行为明显超出日常生活需要，且配偶不知情或未同意时，法院通常会支持此类诉求。
借贷性质的资金：
- 如果有明确的借贷证据（如借条、转账记录、聊天记录等），表明资金是借给出轨方的，那么无论出轨方是否将钱款用于何处，出借方（即另一方配偶或共同财产中的份额）都有权要求出轨方归还本金及合理利息。
共同开支与家庭费用：
- 对于共同生活期间的正常开支和家庭费用，即使出轨方使用了部分资金，也一般视为双方共同承担，无法单独要求返还。
不当得利与赔偿：
- 如果出轨方因出轨行为获得了不当利益（如接受第三方的大额财物），且该利益损害了配偶的财产权益，配偶可以通过法律途径要求返还。
- 因出轨导致的精神损害或经济损失，受害方（即另一方配偶）可能主张赔偿，但需提供充分证据证明损失与出轨行为的直接关联。
二、法律依据与追回途径
《中华人民共和国民法典》相关规定：
- 第六百五十七条明确了赠与合同的一般规定，即赠与人在财产权利转移后通常不能撤销赠与，但存在法定撤销事由时除外。在出轨方大额赠与第三者的情况下，配偶可以基于违背公序良俗等理由主张撤销赠与。
- 第六百六十三条列举了可撤销赠与的情形，包括受赠人严重侵害赠与人权益等。在出轨方赠与第三者财产的情况下，若该行为严重损害了配偶的权益，配偶可以主张撤销赠与。
- 第一千零九十一条规定了离婚时无过错方的损害赔偿请求权，适用于因重婚、与他人同居等重大过错导致离婚的情形。虽然该条款主要针对离婚时的损害赔偿，但也可以作为配偶在出轨方擅自处分共同财产时主张权益的参考。
- 第一千零六十二条明确规定，夫妻在婚姻关系存续期间所得的财产，为夫妻的共同财产，归夫妻共同所有，双方有平等的处理权。出轨方擅自处分共同财产的行为，可能构成对配偶财产权益的侵害。
追回途径：
- 协商：首先尝试与出轨方沟通，明确资金性质并协商解决方案。如果出轨方愿意返还钱款，可以签订书面协议以确认。
- 调解：通过第三方机构或个人进行调解，如家庭调解委员会、律师调解等，达成和解协议。调解协议具有法律效力，双方应遵守。
- 诉讼：若协商无果，可向法院提起诉讼，提交相关证据支持诉求。在诉讼过程中，需要提供充分的证据证明出轨方的行为损害了配偶的财产权益，以及要求返还的钱款数额和依据。
三、实际操作建议
- 收集证据：在追回钱款的过程中，证据的收集至关重要。应尽可能收集转账记录、聊天记录、赠与合同等相关证据，以证明出轨方的行为损害了配偶的财产权益。
- 咨询专业律师：虽然我在这里为您提供了一些法律建议，但每个案件的具体情况都有所不同。因此，在实际操作中，建议您咨询专业律师以获取针对性的法律意见和解决方案。
- 保持冷静与理性：在处理此类问题时，保持冷静与理性至关重要。避免情绪化的决策和行为，以免对案件的处理产生不利影响。
举例说明：假设出轨方在婚姻期间擅自将大额资金赠予第三者，且该行为未经配偶同意。在此情况下，配偶可以收集转账记录、聊天记录等证据，证明出轨方的行为损害了其财产权益。然后，配偶可以向法院提起诉讼，要求确认赠与行为无效并返还钱款。如果法院认定出轨方的行为构成对配偶财产权益的侵害，通常会支持配偶的诉求。
最后，如果您在处理此类问题时遇到任何疑问或需要进一步的法律帮助，请随时向我咨询。我会根据您的具体情况提供针对性的法律建议和解决方案。