在没有直接证据的情况下，要回借款确实存在一定难度，但并非完全不可能，可通过收集间接证据、协商、申请支付令或提起诉讼等方式尝试追回借款。以下是具体分析和建议：
收集间接证据：
- 转账记录：如果借款是通过银行转账、支付宝、微信等电子方式进行的，这些转账记录可以作为借款事实的间接证据。务必保存好相关的转账凭证或截图。
- 聊天记录：与借款人之间的聊天记录，特别是关于借款的讨论、还款计划的提及等，都可以作为辅助证据。这些记录应尽可能完整，以体现借款的全过程。
- 证人证言：如果有第三方见证了借款过程或了解借款事实，他们的证言也可以作为证据。尽量寻找愿意出庭作证或提供书面证言的证人。
- 其他证据：如借款时的录音、录像，或者借款人承认借款事实的书面材料等，都可以作为补充证据。
与借款人协商：
- 在收集到一定证据后，可以尝试与借款人进行协商，要求其还款。协商过程中，可以明确借款金额、还款期限等关键信息，并尽量达成书面协议，以便后续维权。
申请支付令：
- 如果借款关系明确，且有足够的证据支持，可以向法院申请支付令。支付令是一种督促程序，如果借款人在规定期限内不提出异议又不履行支付令的，债权人可以向法院申请强制执行。
提起诉讼：
- 如果协商无果，且支付令申请不适用或未获支持，可以考虑向法院提起诉讼。在诉讼过程中，需要提交收集到的所有证据，以证明借款事实的存在和借款人的还款义务。法院将根据证据和法律规定作出判决，如果判决借款人还款而借款人拒不履行，可以申请强制执行。
在追回借款的过程中，有几点需要注意：
- 证据的充分性和合法性：务必确保收集到的证据充分、合法，能够形成完整的证据链，以支持你的主张。
- 诉讼时效：注意借款的诉讼时效问题，一般诉讼时效为三年，自知道或应当知道权利被侵害之日起计算。逾期提起诉讼可能会丧失胜诉权。
- 法律程序：遵循法律程序进行维权，不要采取非法手段或过激行为，以免给自己带来不必要的法律风险。
希望这些建议能对你有所帮助。如果你还有其他关于借款纠纷或其他法律问题，欢迎随时向我咨询。