结论：在父亲去世三年多，且没有直接证明他人欠父亲钱的情况下，要回这笔钱确实存在困难，但并非完全不可能。你可以尝试通过收集间接证据、与债务人协商、寻求调解或提起诉讼等途径来维护自己的权益。以下是对这些途径的详细分析：

一、收集间接证据

尽管没有直接的欠条或借款合同，但你可以尝试收集其他间接证据来证明债务的存在。这些证据可能包括：

1. 转账记录：如果借款是通过银行转账进行的，你可以查询父亲的银行账户交易记录，看是否有向债务人转账的记录。
2. 聊天记录或录音：如果与债务人有过关于借款的聊天记录或通话录音，这些也可以作为证明债务存在的证据。
3. 证人证言：如果有其他人知道这笔借款的存在，他们的证言也可以作为辅助证据。

二、与债务人协商

在收集到一定证据后，你可以尝试与债务人进行协商，看是否能够达成还款协议。在协商过程中，你可以出示你收集到的证据，以增加说服力。如果债务人承认债务并愿意还款，那么问题就得到了解决。

三、寻求调解

如果与债务人协商无果，你可以考虑寻求第三方调解。这可以是社区调解委员会、人民调解组织或其他中立的第三方机构。调解员会帮助你们双方进行沟通，尝试达成一个双方都能接受的还款方案。

四、提起诉讼

如果调解也未能解决问题，你可以考虑向法院提起诉讼。在提起诉讼前，你需要确保自己有足够的证据来支持你的主张。虽然直接证据缺失，但如果你能提供足够的间接证据，法院仍然有可能认定债务的存在，并判决债务人还款。不过，需要注意的是，根据《中华人民共和国民法典》第一百八十八条的规定，向人民法院请求保护民事权利的诉讼时效期间为三年。由于你父亲已经去世三年多，如果这笔借款的诉讼时效已经届满，那么债务人可能会提出诉讼时效抗辩，导致你无法通过诉讼追回借款。但这也并非绝对，因为诉讼时效可能因某些原因而中断或中止，你需要具体分析情况。

五、特殊情况考虑

1. 如果债务人是父亲的继承人：如果债务人同时也是你父亲的继承人，并且继承了父亲的遗产，那么你可以在继承遗产的范围内向债务人主张权利。这需要根据《中华人民共和国民法典》中关于继承的规定来处理。
2. 如果债务人明确表示拒绝还款：在收集到足够证据后，即使诉讼时效可能存在问题，你也可以考虑向法院提起诉讼。在诉讼过程中，你可以尝试证明诉讼时效的中断或中止，或者主张债务人放弃诉讼时效抗辩权等。

建议：由于每个案件的具体情况都不同，且法律程序复杂多变，因此我建议你直接向我咨询，以便我能根据你的具体情况提供更详细、更专业的法律建议。在处理这类问题时，务必谨慎行事，确保自己的权益得到最大程度的保护。