结论：能否要回钱取决于离婚协议的效力、前夫的还款情况以及诉讼时效等多个因素。若离婚协议合法有效且未过诉讼时效，即使没有其他证据，仍有可能通过诉讼要回钱；若离婚协议存在瑕疵或已过诉讼时效，则可能面临较大困难。以下从多个角度进行分析：
一、离婚协议的效力
合法有效的离婚协议：
- 如果离婚协议是双方真实意思表示，且内容不违反法律、行政法规的强制性规定，不违背公序良俗，那么该协议是合法有效的。
- 在合法有效的离婚协议中，如果明确约定了前夫需要还款的条款，那么这一条款对双方都具有法律约束力。
离婚协议存在瑕疵：
- 如果离婚协议存在欺诈、胁迫等情形，导致一方在签署时并非真实意思表示，那么该协议可能被撤销或认定无效。
- 如果离婚协议中的还款条款存在模糊不清、歧义或违反法律强制性规定的情况，也可能影响其效力。
二、诉讼时效
诉讼时效期间：
- 根据《中华人民共和国民法典》的相关规定，向人民法院请求保护民事权利的诉讼时效期间为三年。法律另有规定的，依照其规定。
- 在离婚协议约定的还款期限届满后，如果前夫未履行还款义务，你需要在三年内提起诉讼，否则可能因超过诉讼时效而丧失胜诉权。
诉讼时效的中断与中止：
- 如果在诉讼时效期间内，你向前夫主张过权利（如发送催款通知、提起诉讼等），或者存在其他导致诉讼时效中断或中止的情形，那么诉讼时效可能会重新计算或暂停计算。
三、证据问题
离婚协议作为证据：
- 离婚协议本身是证明双方约定还款事项的重要证据。即使没有其他直接证据（如转账记录、聊天记录等），离婚协议也可以作为起诉的依据。
- 在诉讼过程中，你需要向法院提供离婚协议原件或经公证的复印件，以证明前夫的还款义务。
其他辅助证据：
- 尽管离婚协议是主要证据，但如果你能提供其他辅助证据（如前夫承认欠款的录音、短信、邮件等），将更有利于证明你的主张。
- 这些辅助证据可以增强离婚协议的证明力，使法院更倾向于支持你的诉讼请求。
四、实际操作建议
收集证据：
- 除了离婚协议外，尽量收集其他与还款事项相关的证据，如前夫的还款承诺、转账记录（如果有的话）、聊天记录等。
- 如果可能的话，可以尝试与前夫进行协商，并保留协商过程中的录音或书面记录。
咨询律师：
- 在提起诉讼前，建议咨询专业律师，对离婚协议的效力、诉讼时效以及证据问题进行全面评估。
- 律师可以根据你的具体情况，为你制定合适的诉讼策略，并帮助你准备诉讼材料。
提起诉讼：
- 如果决定提起诉讼，需要向法院提交起诉状、离婚协议以及其他相关证据材料。
- 在诉讼过程中，要积极配合法院的工作，按时参加庭审，并如实陈述事实和提供证据。
最后，虽然你没有其他直接证据，但离婚协议本身是一个重要的法律依据。如果离婚协议合法有效且未过诉讼时效，你仍有可能通过诉讼要回钱。不过，为了增加胜诉的可能性，建议你尽量收集其他辅助证据，并咨询专业律师的意见。如果你有任何法律问题，可以直接向我咨询，我会为你提供详细的解答和建议。