出轨男向小三借的钱，在法律上不能直接抵消其给小三的财物或资金，但借款关系本身需根据具体情况来处理，且出轨男给小三的财物或资金在一定条件下可被原配追回。以下从不同角度详细分析：
一、借款关系的处理
出轨男向小三借款，这构成了一个独立的借款合同关系。根据《中华人民共和国民法典》的相关规定，借款合同是借款人向贷款人借款，到期返还借款并支付利息的合同。因此，出轨男作为借款人，有义务按照约定的期限和方式向小三（贷款人）偿还借款。这一借款关系与出轨男给小三的财物或资金是两个独立的法律关系，不能直接进行抵消。
二、出轨男给小三财物或资金的追回
擅自处分夫妻共同财产：
- 根据《民法典》第1062条，婚姻关系存续期间取得的财产原则上属于夫妻共同所有。若出轨方未经配偶同意，擅自将大额共同财产赠与小三，该行为可能被认定为无效民事法律行为（依据《民法典》第153条第二款违背公序良俗的条款）。此时，原配有权通过诉讼主张返还。
- 举例：出轨男在婚姻期间，未经配偶同意，将夫妻共同存款中的大额资金转账给小三，用于购买奢侈品或支付其他高额消费。这种情况下，原配可以要求小三返还这些资金。
违反公序良俗原则：
- 婚外情关系本身违背社会公德，基于此类关系的赠与行为通常被法院认定为无效。例如，出轨男长期通过微信向小三转账“520”“1314”等特殊金额，或为其购房购车支付款项，这些行为因破坏婚姻关系稳定性而无效。
- 举例：出轨男为了维持与小三的关系，多次向其转账具有特殊含义的金额，或为其购买房产、车辆等大额财产。这些行为都可能被视为违反公序良俗，原配有权要求小三返还。
不可追回的情形：
- 小额日常消费：偶发的餐饮、购物等小额支出，若无证据证明存在不正当关系，通常视为正常人际交往开支，难以主张返还。
- 个人婚前财产赠与：若赠与资金来源于出轨方的婚前个人财产，且未损害配偶合法权益，配偶无权要求返还。但需注意区分资金来源的举证责任。
三、实际操作中的考虑因素
证据收集：
- 在实际操作中，原配需要收集充分的证据来证明出轨男给小三的财物或资金的存在以及价值。这可能包括银行转账记录、聊天记录、购物凭证等。
- 举例：原配可以收集出轨男与小三之间的聊天记录，其中可能包含转账的截图或提及赠与财物的对话；同时，也可以查询出轨男的银行流水，以证明其向小三转账的事实。
法律程序：
- 如果协商无果，原配可以通过诉讼的方式来维护自己的权益。在诉讼过程中，法院将根据双方提供的证据和相关法律法规来作出判决。
- 举例：原配可以向法院提起诉讼，要求确认出轨男给小三的赠与行为无效，并判决小三返还所赠财物。法院将根据双方提供的证据和法律规定进行审理，并作出相应的判决。
总结与建议：出轨男向小三借的钱不能直接抵消其给小三的财物或资金。出轨男给小三的财物或资金在一定条件下可被原配追回，但需要收集充分的证据并通过法律程序来维护自己的权益。如果你面临类似的情况，建议尽快收集相关证据，并咨询专业律师（即我本人）以获取更具体的法律建议。