结论：在对方去世的情况下，能否要回借出的五万元，取决于对方是否留有遗产以及遗产的具体情况。若留有遗产，您有权通过法律途径要求从遗产中清偿债务；若未留有遗产或遗产不足以清偿，则可能无法完全追回借款。
详细分析：
遗产继承与债务清偿：
- 根据《中华人民共和国民法典》的相关规定，被继承人死亡后，其遗产由继承人继承。同时，被继承人生前的债务也需从其遗产中清偿。
- 在此情况下，您作为债权人，有权要求从借款人的遗产中清偿您借出的五万元。这通常需要通过法律程序，如向法院提起诉讼，要求确认债务并执行遗产。
遗产的具体情况：
- 有足够遗产：如果借款人留有足够的遗产来清偿债务，那么您有望通过法律程序追回全部或部分借款。
- 遗产不足或无遗产：如果借款人未留有遗产或遗产不足以清偿全部债务，那么您可能无法完全追回借款。在这种情况下，即使您提起诉讼，也可能因为遗产不足而无法获得全额清偿。
法律程序与证据：
- 为了追回借款，您需要准备充分的证据，如借款合同、转账记录、聊天记录等，以证明借款事实的存在和金额。
- 您还需要了解并遵循相关的法律程序，如向法院提起诉讼、申请执行等。这些程序可能因地区而异，因此建议您咨询当地律师以获取具体指导。
其他考虑因素：
- 如果借款人有多个债权人，且遗产不足以清偿所有债务，那么您可能需要与其他债权人协商分配遗产。
- 如果借款人存在恶意逃避债务的行为，如转移财产等，您还可以考虑通过法律手段追究其法律责任。
建议与行动：
- 收集证据：立即收集所有与借款相关的证据，包括借款合同、转账记录、聊天记录等。
- 咨询律师：咨询专业律师以了解具体的法律程序和策略，以及如何准备和提交相关证据。
- 提起诉讼：在律师的指导下，向法院提起诉讼要求确认债务并执行遗产。
- 关注遗产情况：密切关注借款人的遗产情况，包括遗产的种类、数量和分配情况等。
风险提示：
- 追回借款的过程可能漫长且复杂，需要耐心和毅力。
- 如果借款人未留有遗产或遗产不足以清偿债务，您可能面临无法完全追回借款的风险。
- 在法律程序中，您需要遵循相关法律法规和程序要求，否则可能影响您的权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。