结论先行：在没有直接证据证明你哥哥拿了你的钱的情况下，要追回这笔钱确实存在一定难度，但并非完全没有办法。你可以尝试通过收集间接证据、协商沟通、寻求第三方调解或提起诉讼等方式来维护自己的权益。以下是一些具体的分析和建议：
一、收集间接证据
虽然直接证据（如借条、转账记录、书面协议等）缺失，但你可以尝试收集一些间接证据来支持你的主张。这些间接证据可能包括：
- 证人证言：如果有目击者看到你哥哥拿了你的钱，或者有人听到你哥哥承认拿了你的钱，这些人的证言可以作为间接证据。
- 聊天记录：如果你和你哥哥之间有过关于这笔钱的聊天记录，比如微信、短信等，这些记录中可能包含一些有用的信息，如你哥哥承认拿了钱、承诺归还等。
- 其他相关证据：比如你哥哥使用这笔钱的痕迹（如购买物品的发票、消费记录等），或者你哥哥经济状况突然改善的证据（如突然购买了贵重物品、偿还了债务等）。
二、协商沟通
在收集到一定证据后，你可以尝试与你哥哥进行协商沟通。在沟通过程中，你可以：
- 明确表达诉求：告诉他你希望他归还这笔钱，并说明你的理由和依据。
- 保持冷静理性：避免情绪化的争吵，尽量以平和的态度进行沟通，这样更有可能达成和解。
- 提出合理方案：如果你哥哥确实有困难无法一次性归还，你可以提出分期归还等合理方案。
三、寻求第三方调解
如果协商沟通无果，你可以考虑寻求第三方调解。这可以包括：
- 家庭调解：如果你们家庭关系较为和谐，可以邀请其他家庭成员或长辈作为调解人，帮助你们达成和解。
- 社区调解：你们所在的社区可能设有调解委员会或类似机构，可以提供调解服务。
- 人民调解委员会：这是专门设立的调解机构，可以提供专业的调解服务，帮助你们解决纠纷。
四、提起诉讼
如果以上方法都无法解决问题，你可以考虑向法院提起诉讼。在提起诉讼前，你需要：
- 准备充分证据：虽然直接证据缺失，但你需要尽可能收集间接证据来支持你的主张。
- 撰写起诉状：明确你的诉讼请求、事实和理由，并附上相关证据。
- 选择管辖法院：根据你哥哥的住所地或合同履行地等选择合适的管辖法院。
- 提交起诉状并等待法院受理：将起诉状提交给法院，并等待法院的受理和开庭通知。
需要提醒的是：在没有直接证据的情况下提起诉讼，确实存在一定的风险。法院在审理案件时，会综合考虑双方提供的证据和陈述，以及案件的具体情况来作出判决。因此，在提起诉讼前，你需要充分评估自己的证据和胜诉的可能性。
最后建议：在整个过程中，保持冷静和理性至关重要。同时，如果你对法律程序不熟悉或感到困惑，可以随时向我咨询，我会根据你的具体情况提供更详细的法律建议和帮助。