结论：在没有借条的情况下，要回哥哥借爸爸的钱确实存在一定难度，但并非完全不可能。您可以通过收集其他证据来证明借款事实的存在，并尝试通过协商、调解或诉讼等途径来追回借款。以下是一些具体的分析和建议：

一、收集证据

尽管没有借条，但您仍然可以尝试收集其他证据来证明借款事实的存在。这些证据可以包括：

1. 转账记录：如果您爸爸是通过银行转账或第三方支付平台（如支付宝、微信）将款项转给哥哥的，那么这些转账记录就是有力的证据。它们可以清晰地显示转账的时间、金额以及收款方信息。
2. 聊天记录：如果您爸爸和哥哥之间有关于借款的聊天记录，如短信、微信聊天记录等，这些也可以作为证据。聊天记录中应包含借款的金额、时间、还款期限等关键信息。
3. 证人证言：如果有第三方见证了借款过程，如亲戚、朋友等，他们的证言也可以作为辅助证据。但需要注意的是，证人证言的证明力相对较弱，需要结合其他证据一起使用。
4. 录音录像：如果您爸爸在借款时或之后与哥哥有过关于借款的录音或录像，这些也可以作为证据。但需要注意的是，录音录像的取得必须合法，不能侵犯他人的隐私权等合法权益。

二、尝试协商或调解

在收集到一定证据后，您可以先尝试与哥哥进行协商或调解。您可以向哥哥说明借款的事实和证据，并要求他归还借款。如果哥哥愿意归还，那么问题就得到了解决。如果哥哥不愿意归还或拒绝承认借款事实，您可以考虑寻求第三方的帮助，如家庭成员、亲戚朋友或社区调解组织等，进行调解。

三、考虑诉讼途径

如果协商或调解无果，您可以考虑通过诉讼途径来追回借款。在诉讼过程中，您需要向法院提交上述收集到的证据，以证明借款事实的存在。同时，您还需要注意以下几点：

1. 诉讼时效：根据《中华人民共和国民法典》的规定，向人民法院请求保护民事权利的诉讼时效期间为三年。因此，您需要在知道或应当知道权利受到损害以及义务人之日起三年内提起诉讼。但需要注意的是，如果在这三年内您曾经向哥哥主张过权利（如要求还款），那么诉讼时效会中断并重新计算。
2. 诉讼成本：诉讼需要支付一定的费用，包括诉讼费、律师费等。因此，在决定提起诉讼前，您需要评估自己的经济能力和诉讼成本，确保能够承担得起。
3. 执行问题：即使您赢得了诉讼，如果哥哥没有财产可供执行或拒绝履行判决，那么您仍然可能无法追回借款。因此，在提起诉讼前，您需要了解哥哥的财产状况，并考虑是否需要申请财产保全等措施。

四、特殊情况考虑

如果哥哥确实没有还款能力，您可以考虑与哥哥协商制定还款计划或分期还款等方式来逐步追回借款。同时，您也可以关注哥哥的财产状况变化，一旦发现其有可供执行的财产，立即向法院申请强制执行。

最后，我建议您在处理此类问题时保持冷静和理性，尽量通过协商或调解等和平方式解决问题。如果确实无法解决，再考虑通过诉讼途径来维护自己的合法权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。