结论：仅有电话录音，在符合一定条件的情况下，是可以作为证据起诉对方欠的五万元钱的，但能否胜诉还需结合其他因素综合判断。

分析说明：

1. 电话录音作为证据的合法性：

   • 根据《中华人民共和国民事诉讼法》及相关司法解释，证据包括当事人的陈述、书证、物证、视听资料、电子数据等。电话录音属于视听资料或电子数据的范畴，只要其来源合法、内容真实且与案件事实相关，就可以作为证据使用。
   • 合法性要求：录音的取得必须符合法律规定，不得侵犯他人合法权益，如不得在他人不知情的情况下进行窃听或偷录。在合法的前提下，录音内容能够清晰反映双方关于借款的约定、金额、还款期限等关键信息，那么这份录音就可以作为有效的证据。

2. 电话录音的证明力：

   • 证明力大小：电话录音作为单一证据，其证明力可能相对有限。在诉讼中，法院会综合审查所有证据，包括录音内容、双方当事人的陈述、其他相关证据等，以形成完整的证据链。
   • 补充证据：为了提高胜诉的可能性，建议尽可能收集其他与借款相关的证据，如转账记录、借条、聊天记录等，以与电话录音相互印证，形成更完整的证据体系。

3. 诉讼中的注意事项：

   • 起诉条件：除了有充分的证据外，还需要满足起诉的其他条件，如明确的被告、具体的诉讼请求和事实理由等。
   • 诉讼时效：根据《中华人民共和国民法典》的规定，民间借贷的诉讼时效期间为三年。自权利人知道或者应当知道权利受到损害以及义务人之日起计算。因此，在起诉前需要确认是否超过了诉讼时效期间。

行动建议：

• 收集证据：除了电话录音外，尽量收集其他与借款相关的证据，如转账记录、借条等，以增强证据的证明力。
• 咨询律师：在起诉前，建议咨询专业律师，对证据进行评估和分析，了解诉讼风险和可能的法律后果。
• 准备起诉材料：根据律师的建议，准备起诉状、证据清单等起诉材料，并按照法院的要求进行提交。

后续思考：

• 在日常生活中，为了保障自己的合法权益，建议在借款时签订书面借条或合同，并保留好转账记录等证据。
• 如果遇到借款纠纷，应及时咨询律师并采取措施维护自己的权益，避免超过诉讼时效期间而丧失胜诉权。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。