结论：能否退回这5万元，关键在于是否能够证明这笔钱是用于土地确权办理的费用，以及对方是否存在欺诈或违约行为。若能证明，则有权要求对方退款；若无法证明，则退款难度较大。

分析如下：

1. 合同关系与证据保留：

   • 首先，需要明确的是，即使你们之间没有签订书面的合同，但口头协议在法律上也是有效的。然而，口头协议在举证时较为困难，因此，保留所有与对方沟通的记录（如短信、微信聊天记录、通话录音等）至关重要，这些记录可以作为证明双方存在合同关系以及对方承诺办理土地确权并收取费用的证据。

2. 对方行为性质：

   • 如果对方在收取费用后，并未按照约定进行土地确权的办理，或者以各种理由不断拖延并继续索要钱财，这可能构成欺诈或违约。在这种情况下，你有权要求对方退还已收取的费用，并可能要求赔偿因此造成的损失。
   • 如果对方确实尝试办理但因客观原因（如政策变化、手续不全等）未能成功，且没有故意隐瞒或欺骗的行为，那么退款的要求可能需要根据实际情况和双方协商来确定。

3. 退款途径与法律程序：

   • 协商：首先，你可以尝试与对方进行协商，要求其退还已收取的费用。在协商过程中，保持冷静和理性，明确表达自己的诉求和理由。
   • 投诉与举报：如果协商无果，你可以向当地的土地管理部门或消费者权益保护机构进行投诉和举报，寻求他们的帮助和支持。
   • 法律诉讼：如果上述途径均无法解决问题，你可以考虑通过法律诉讼来维护自己的权益。在提起诉讼前，建议咨询专业律师，了解具体的法律程序和诉讼风险。

4. 预防措施与建议：

   • 在未来遇到类似情况时，务必要求对方签订书面合同，明确双方的权利和义务、办理事项、费用标准、退款条件等关键条款。
   • 在支付费用时，尽量使用银行转账等可追溯的支付方式，并保留好支付凭证。
   • 在办理过程中，保持与对方的密切沟通，及时了解办理进度和可能遇到的问题。

后续行动建议：

• 立即收集并整理所有与对方沟通的记录和支付凭证。
• 尝试与对方进行协商，要求其退还已收取的费用。
• 如果协商无果，考虑向相关部门投诉或咨询专业律师，了解具体的法律程序和诉讼风险。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。