结论：在此种口头协议抵押借钱且到期抵押物不存在、借款人没能力偿还的情况下，你可以通过协商、收集证据起诉借款人、尝试追究相关人员责任（如果有）等途径来维护自身权益。以下是详细分析：
协商解决
- 与借款人沟通
- 首先，尝试与借款人进行友好协商。虽然借款人目前没能力偿还，但可能存在一些特殊情况，比如暂时资金周转困难。你可以与借款人商讨制定一个合理的还款计划，例如延长还款期限、分期还款等。这种方式相对温和，有助于维护双方的关系，并且如果借款人能够按照新的还款计划履行，也能解决你的资金回收问题。
- 寻找其他担保或补偿方式
- 在协商过程中，你可以要求借款人提供其他形式的担保，如新的抵押物、保证人等。如果借款人能够提供可靠的担保，这可以在一定程度上降低你的风险。另外，也可以要求借款人以其他方式给予一定的补偿，例如将其名下的某些权益（如股权、知识产权等）转让给你作为债务的部分清偿。
收集证据起诉借款人
- 证据收集
- 由于是口头协议，收集证据会相对困难，但并非不可能。你可以寻找能够证明借款事实和抵押约定的证据，例如：
- 证人证言：如果有第三方见证了你们的口头协议，如共同的朋友、亲戚等，他们的证言可以作为证据。
- 转账记录：如果你通过银行转账等方式将借款交付给借款人，转账记录可以证明借款的实际发生。
- 聊天记录：如果你们在借款前后有过微信、短信等聊天记录，其中可能包含关于借款金额、还款期限、抵押约定等内容，这些也可以作为证据。
- 起诉流程
- 准备好相关证据后，你可以向法院提起民事诉讼。在起诉状中，你需要明确诉讼请求，如要求借款人偿还借款本金、利息（如果有约定）等。法院受理案件后，会依法进行审理。如果证据充分，法院会判决借款人承担还款责任。
- 执行阶段
- 如果借款人仍然不履行法院判决，你可以向法院申请强制执行。法院会采取一系列措施，如查询借款人的财产状况、冻结银行账户、查封财产等，以强制借款人偿还债务。
追究相关人员责任（如果有）
- 如果存在欺诈情况
- 如果借款人从一开始就没有打算履行还款义务，以虚假抵押的方式骗取你的借款，可能构成诈骗罪。你可以向公安机关报案，由公安机关进行刑事立案侦查。如果经调查认定借款人构成诈骗罪，借款人将面临刑事处罚，同时你作为被害人，在刑事诉讼过程中可以提起附带民事诉讼，要求借款人赔偿你的经济损失。
- 如果存在中间人或担保人（如果有相关情况）
- 如果在借款过程中有中间人促成交易，或者有担保人为借款提供担保（即使是口头担保），你可以尝试追究他们的相应责任。对于中间人，如果其存在过错，如故意隐瞒借款人的真实情况等，可能需要承担一定的赔偿责任。对于担保人，如果能够证明其担保意思表示真实，即使没有书面担保合同，也可能需要承担担保责任。