结论前置：在没有直接证据证明借款事实的情况下，要追回借款确实存在一定难度，但并非完全没有办法。你可以尝试通过收集间接证据、与对方协商、寻求第三方调解或提起诉讼等方式来维护自己的权益。以下是一些具体的分析和建议：

一、收集间接证据

尽管你目前没有直接的借款合同或借条等书面证据，但你可以尝试收集其他间接证据来证明借款事实的存在。这些间接证据可以包括：

1. 转账记录：如果你通过银行转账或第三方支付平台（如支付宝、微信）将款项转给对方，这些转账记录可以作为证明借款事实的间接证据。你可以打印出转账记录，并标注出转账的时间、金额和用途（如“借款给XX”）。
2. 聊天记录：如果你与对方在借款前后有过相关的聊天记录，如对方承认借款、承诺还款等，这些聊天记录也可以作为证明借款事实的间接证据。你可以保存好这些聊天记录，并尽量以截图或录屏的方式固定下来。
3. 证人证言：如果有第三方见证了借款过程或了解借款事实，你可以尝试联系这些证人，并请他们出具书面证言或出庭作证。

二、与对方协商

在收集到一定间接证据后，你可以尝试与对方进行协商，要求对方承认借款事实并承诺还款。在协商过程中，你可以明确表达自己的诉求和期望，并尽量以书面形式记录下协商的结果，如签订还款协议等。

三、寻求第三方调解

如果与对方协商无果，你可以考虑寻求第三方调解机构的帮助，如人民调解委员会、消费者协会等。这些机构通常具有专业的调解能力和经验，可以帮助你与对方达成调解协议，从而解决纠纷。

四、提起诉讼

如果以上方法均无法解决问题，你可以考虑向法院提起诉讼。在提起诉讼前，你需要准备好相关证据材料，并撰写好起诉状。在诉讼过程中，你需要积极配合法院的调查和审理工作，并尽量提供充分的证据来证明自己的诉求。需要注意的是，由于你目前缺乏直接证据，诉讼过程可能会相对复杂和漫长，你需要做好充分的准备和应对。

五、法律风险提示

1. 诉讼时效：根据《民法典》的规定，民间借贷纠纷的诉讼时效期间为三年。如果你长时间未向对方主张权利，可能会面临诉讼时效过期的问题。因此，你需要尽快采取行动来维护自己的权益。
2. 证据收集：在诉讼过程中，证据的收集和固定至关重要。你需要尽可能收集到充分、确凿的证据来证明自己的诉求。如果证据不足或存在瑕疵，可能会影响你的诉讼结果。
3. 诉讼成本：提起诉讼需要支付一定的诉讼费用和律师费用等成本。你需要根据自己的经济状况和案件情况来合理评估诉讼成本，并做好相应的准备。

最后建议：在处理此类纠纷时，建议你保持冷静和理性，尽量通过协商和调解等方式来解决问题。如果确实无法协商解决，再考虑通过法律途径来维护自己的权益。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。