结论：在借钱人以物抵押却不还钱的情况下，您不能直接不还抵押物，而应通过合法途径实现抵押权或处理抵押物。

分析说明：

1. 抵押权的法律性质：

   • 抵押权是一种担保物权，旨在确保债权的实现。当债务人（借钱人）不履行到期债务时，债权人（您）有权依照法律规定以抵押物折价或者以拍卖、变卖该抵押物的价款优先受偿。

2. 不能直接不还抵押物的原因：

   • 直接占有或处置抵押物可能构成侵权或违法行为。抵押物的所有权仍属于债务人，除非通过合法程序（如拍卖、变卖）实现抵押权，否则您无权直接占有或处置抵押物。
   • 若您直接不还抵押物，债务人可能会以侵权为由向您提起诉讼，要求返还抵押物并赔偿损失。

3. 合法实现抵押权的途径：

   • 协商：您可以与债务人协商，通过折价、拍卖或变卖抵押物的方式实现债权。
   • 诉讼：若协商无果，您可以向法院提起诉讼，请求法院判决债务人履行债务，并在判决生效后申请强制执行。在执行过程中，法院会依法对抵押物进行拍卖或变卖，以实现您的债权。
   • 实现担保物权程序：根据《民事诉讼法》的相关规定，您还可以直接向抵押财产所在地或者抵押权登记地基层人民法院提出实现担保物权的申请，由法院审查后裁定拍卖、变卖抵押财产，您可依据该裁定向人民法院申请执行。

4. 可能面临的法律后果：

   • 若您未经合法程序直接占有或处置抵押物，可能面临债务人的侵权诉讼，需要承担返还抵押物、赔偿损失等法律责任。
   • 若您通过合法途径实现抵押权，则能够依法优先受偿，保障自己的债权。

行动建议：

• 保留证据：确保您拥有充分的证据证明债务关系的存在以及抵押物的具体情况，如借款合同、抵押合同、抵押物登记证明等。
• 及时沟通：尝试与债务人进行友好沟通，寻求协商解决方案，以避免不必要的法律纠纷。
• 寻求法律帮助：若协商无果，建议您及时咨询专业律师，了解具体法律程序和操作方式，以便通过合法途径实现抵押权。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。