结论是：在别人借你现金且没有直接证据的情况下，要回借款确实存在一定难度，但并非完全没有办法。你可以尝试通过收集间接证据、与借款人协商、寻求第三方调解或提起诉讼等方式来维护自己的权益。

一、收集间接证据

虽然直接的借条或转账记录等证据缺失，但你可以尝试收集其他间接证据来证明借款事实的存在。这些间接证据可能包括：

1. 证人证言：如果有目击者或知情人士，他们的证言可以作为辅助证据。例如，共同的朋友、家人或同事可能知道借款的情况。
2. 聊天记录：如果你们之间有过关于借款的聊天记录，如短信、微信、QQ等，这些记录也可以作为证据。聊天记录中应明确提及借款金额、借款时间、还款期限等关键信息。
3. 录音录像：如果你在与借款人沟通时进行了录音或录像，且录音录像内容清晰、合法，能够证明借款事实，那么这些录音录像也可以作为证据。

二、与借款人协商

在收集到一定证据后，你可以尝试与借款人进行协商，要求其还款。在协商过程中，你可以明确表达自己的诉求，并展示你所收集的证据，以增加说服力。如果借款人承认借款事实并愿意还款，那么问题就得到了解决。

三、寻求第三方调解

如果协商无果，你可以考虑寻求第三方调解。例如，你可以向当地的调解委员会、人民调解组织或社区服务中心等机构申请调解。这些机构通常会提供中立的调解服务，帮助双方达成和解协议。

四、提起诉讼

如果调解也无法解决问题，你可以考虑向法院提起诉讼。在提起诉讼前，你需要确保自己已经收集了足够的证据来支持自己的诉求。虽然直接证据缺失，但间接证据如果足够充分且能够形成完整的证据链，也有可能被法院采纳。在诉讼过程中，你需要按照法院的要求提交证据、出庭陈述等，并积极配合法院的审理工作。

法律背景与建议：

• 根据《中华人民共和国民事诉讼法》的相关规定，当事人对自己提出的主张有责任提供证据。因此，在借款纠纷中，你需要承担举证责任，证明借款事实的存在。
• 在收集证据时，务必确保证据的合法性和真实性。非法获取的证据可能不会被法院采纳，甚至可能面临法律责任。
• 如果借款金额较大或情况复杂，建议你咨询专业律师的意见。律师可以根据你的具体情况提供针对性的法律建议和帮助。

可能的法律后果：

• 如果法院认定借款事实存在且借款人未履行还款义务，那么借款人可能需要承担还款责任，并可能面临支付逾期利息等法律后果。
• 如果借款人拒不履行法院判决或调解协议，你还可以申请强制执行，通过法律手段追回借款。

最后，我建议你根据实际情况选择合适的方式来维护自己的权益。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。