婚外情关系借的钱一般能主张要回，但具体能否要回取决于多个因素。

1. 借款事实是否清晰：

   • 若有清晰的借条、转账记录等书面证据，且借款用途合法，通常能够主张要回借款。这些证据是证明借款事实存在的关键，出借人有权要求借款人归还借款。

2. 借款用途的合法性：

   • 如果借款用于合法合理的用途，如生病就医等紧急且必要的情况，出借人更有权要求归还。但若借款用于不正当的婚外情消费等，要回借款可能会面临一定困难。

3. 双方的经济状况：

   • 还需考虑借款人的经济状况。如果对方确实没有偿还能力，即使法律上判定其应归还借款，实际执行也可能存在问题。

4. 借款是否属于夫妻共同财产：

   • 若出借的钱属于夫妻共同财产，在未经配偶同意的情况下擅自借出，配偶知晓后可以要求借款人返还。因为夫妻对共同财产有平等的处理权，一方擅自处分重大财产侵犯了另一方的权利。

5. 法律途径：

   • 若协商无果，出借人可以考虑向法院提起诉讼，要求借款人归还借款并承担相应的法律责任。在诉讼过程中，出借人需要提供充分的证据证明借款的事实，包括借条、转账记录等。

综上所述，婚外情关系借的钱能否要回，关键在于借款事实是否清晰、借款用途是否合法、双方的经济状况以及借款是否属于夫妻共同财产等因素。若出借人拥有充分的证据，且借款用途合法，通常能够主张要回借款。但若存在争议或借款人无力偿还，则可能需要通过法律途径来解决。