当借条无效时，要回借款确实会面临一些挑战，但并非完全不可能。以下是一些建议，帮助您在借条无效的情况下尽可能要回借款：

一、固定借贷合同关系

1. 补写借条或还款计划： 如果可能，尝试与借款人协商，让其补写一份有效的借条或还款计划。这可以作为您们之间借贷关系的直接证据。

2. 录音或录像： 在与借款人沟通时，可以尝试进行录音或录像，特别是当对方承认存在借贷关系时。这些录音或录像可以作为辅助证据，证明借贷事实的存在。

3. 寻找证人： 如果有其他人知道或见证了您与借款人之间的借贷关系，可以尝试联系他们作为证人出庭作证。

二、通过法律途径追回借款

1. 向法院起诉： 如果协商无果，您可以向汇款银行所在地或者被告住所地的人民法院提起诉讼。在诉讼过程中，您需要提供充分的证据来证明借贷关系的存在以及借款人未履行还款义务的事实。

2. 申请法院调取证据： 在起诉时，您可以请求法院向汇款银行调取相关汇款凭证，以证明您已将借款支付给借款人。

3. 考虑债务人下落不明的情况： 如果债务人下落不明，您仍然可以向其原住所地或财产所在地的法院提起诉讼。法院会要求您提供证明借贷关系存在的证据，并在公告期限届满后进行缺席判决（如果借贷关系明确）或裁定中止诉讼（如果借贷关系难以查清）。

三、了解无效借贷行为的情况

在追回借款的过程中，了解哪些借贷行为是无效的也很重要。根据我国相关法律的规定，以下几种借贷行为通常被视为无效：

1. 借贷进行非法活动（如赌博、贩卖毒品等）。
2. 非法金融业务活动（如非法吸收公众存款、变相吸收公众存款等）。
3. 非金融企业以合法借贷掩盖的非法金融活动。
4. 企业之间的借贷合同（违反国家规定办理的）。
5. 明为联营实为借贷的合同。
6. 违背真实意图的借贷关系（如一方以欺诈、胁迫等手段形成的）。
7. 高利贷利息（超出银行同类贷款利率4倍的部分）。

四、承担过错赔偿责任

根据《民法典》的相关规定，如果借条无效且有过错的当事人还需要承担过错赔偿责任。这意味着，如果因为您的某些行为导致借条无效，您可能需要承担一定的责任；同样，如果借款人的行为导致借条无效，其也需要承担相应的责任。

综上所述，当借条无效时，要回借款需要您采取一系列措施来固定借贷合同关系，并通过法律途径来追回借款。同时，了解无效借贷行为的情况以及承担过错赔偿责任的原则也很重要。希望这些建议能对您有所帮助。