男人给出轨方的钱能否收回，取决于具体情况和钱的性质。以下是对这一问题的详细分析：
如果钱是作为赠与给出的：
- 在一般情况下，赠与行为一旦完成，赠与人就不能再要求返还。赠与是合同的一种，根据《民法典》的规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。赠与人在赠与财产的权利转移之前可以撤销赠与，但一旦财产权利转移，如钱款已经交付，赠与人就丧失了撤销权。
- 然而，如果赠与行为存在法定撤销事由，如受赠人严重侵害赠与人或者赠与人的近亲属的合法权益，或者受赠人对赠与人有扶养义务而不履行等，赠与人可以在知道或应当知道撤销事由之日起一年内行使撤销权。
如果钱是作为夫妻共同财产被擅自处分给出的：
- 在婚姻关系中，夫妻对共同财产享有平等的处理权。如果一方擅自将夫妻共同财产赠与给第三方（如出轨方），这可能构成对夫妻共同财产的无权处分。
- 在这种情况下，另一方有权要求返还被擅自处分的财产。如果赠与行为已经完成，但赠与的财产仍然属于可追索的范围，如钱款尚未被完全消费或转移，那么受赠人（出轨方）可能需要返还这部分财产。
如果钱是作为借款或债务偿还给出的：
- 如果男人给出轨方的钱是借款或用于偿还债务，那么这笔钱是有可能收回的。借款关系或债务偿还关系受到法律的保护，出借人或债权人有权要求借款人或债务人按时还款。
- 在这种情况下，男人需要保留好相关的借款凭证或债务偿还证据，以便在需要时通过法律途径追讨欠款。
综上所述，男人给出轨方的钱能否收回取决于具体情况和钱的性质。如果是赠与且不存在法定撤销事由，则一般无法收回；如果是擅自处分夫妻共同财产，则另一方有权要求返还；如果是借款或债务偿还，则有权要求还款。在处理这类问题时，建议咨询专业律师以获取更具体的法律建议和帮助。如果你有任何进一步的法律问题或需要更详细的解答，请直接向我提问。