结论：在仅有对方拿了现金而无其他直接证据的情况下，起诉要求返还钱款确实存在一定难度，但并非完全不可能。关键在于能否通过其他间接证据或方式来证明借款事实的存在。以下是从不同角度给出的详细分析和建议：
一、法律背景与证据要求
在民间借贷纠纷中，根据《中华人民共和国民事诉讼法》及相关司法解释的规定，原告需要承担举证责任，即提供证据证明借款事实的存在。这通常包括借款合同、借条、转账记录等直接证据。然而，在您的情况下，由于只有现金交付且没有书面证据，因此需要依靠其他间接证据来支持您的主张。
二、可能的间接证据与收集方式
证人证言：
- 如果当时有第三人在场见证了借款过程，那么该第三人的证言可以作为间接证据。
- 您可以尝试联系当时的在场人，请求他们出具书面证言或出庭作证。
录音录像：
- 如果您在借款时或之后与对方有过通话或见面，并录下了相关对话或视频，其中可能包含对方承认借款事实的内容。
- 确保录音录像的合法性，即未侵犯他人隐私或违反其他法律规定。
银行交易记录：
- 尽管您提到是现金交付，但如果您能提供取款记录或对方存款记录等，可能间接证明资金流动情况。
- 例如，如果您在借款前不久从银行取出了相应金额的现金，这可以作为辅助证据。
其他书面材料：
- 检查是否有任何与借款相关的书面材料，如短信、微信聊天记录、电子邮件等，其中可能包含借款金额、时间、方式等关键信息。
三、诉讼策略与建议
尝试和解或调解：
- 在起诉前，您可以尝试与对方进行和解或调解，看是否能达成还款协议。
- 这不仅可以节省诉讼成本和时间，还能避免双方关系的进一步恶化。
起诉前的准备：
- 如果和解或调解无果，您需要准备起诉材料，包括起诉状、证据清单等。
- 在起诉状中，详细陈述借款事实、金额、时间等关键信息，并附上您所能收集到的所有间接证据。
诉讼过程中的注意事项：
- 在诉讼过程中，积极配合法院的调查和审理工作，如实陈述事实并提供证据。
- 如果对方提出反驳或抗辩，您需要针对其主张进行反驳并提供相应证据。
四、可能的法律后果
- 如果法院认定借款事实存在，且对方未提供充分证据反驳您的主张，那么法院可能会判决对方返还借款本金及可能产生的利息。
- 如果法院认为您提供的证据不足以证明借款事实的存在，或者对方提供了充分证据反驳您的主张，那么法院可能会驳回您的诉讼请求。
五、进一步行动建议
- 继续收集证据：尽可能寻找和收集更多与借款相关的间接证据，以增强您的主张的可信度。
- 咨询专业律师：虽然我已经提供了一些法律建议，但每个案件的具体情况都有所不同。因此，我建议您在起诉前咨询一位专业律师，以便获得更具体、更个性化的法律建议。
最后，我想强调的是，尽管在缺乏直接证据的情况下起诉要求返还钱款存在一定难度，但并非完全不可能。关键在于您能否通过其他间接证据或方式来证明借款事实的存在。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。