结论前置：还钱时对方不把借条还给你，你不可以因此不还钱。以下从不同角度为你详细分析：

法律义务角度

从法律层面来讲，借款合同（借条是借款合同的一种表现形式）是双方真实意思表示的体现，一旦成立，借款人就负有按照约定偿还借款的义务。这种义务是基于借款行为本身而产生的，与借条是否归还并无直接关联。也就是说，无论对方是否归还借条，你都有义务偿还借款。如果因为对方不归还借条而拒绝还钱，这属于违约行为，对方有权通过法律途径要求你还款，甚至可能要求你承担逾期还款的利息、违约金等额外费用。

借条的作用角度

借条是证明借贷关系存在以及借款金额、还款期限等关键信息的重要凭证。对方不归还借条，可能会给你带来一些潜在的风险，比如对方可能再次凭借借条向你主张还款。但这并不意味着你可以不履行还款义务。为了避免这种情况的发生，你可以在还款时采取一些措施来保护自己。例如，在还款时要求对方出具收条，收条上应明确写明收到你偿还的借款金额、还款时间等信息，并由对方签字确认。这样，即使对方日后凭借借条再次主张权利，你也可以凭借收条来证明自己已经履行了还款义务。

特殊情况处理角度

如果对方坚决不归还借条，且你担心日后会出现纠纷，你还可以考虑通过银行转账的方式进行还款，并保留好转账凭证。银行转账凭证可以作为你还款的有力证据，证明你已经将借款支付给了对方。另外，如果你与对方之间有其他的沟通记录，比如短信、微信聊天记录等，其中涉及到还款的约定或者对方承认你已经还款的内容，也可以作为辅助证据来使用。

法律建议：为了避免不必要的纠纷和风险，在还款时最好与对方协商好借条的归还事宜。如果对方确实无法归还借条，一定要按照上述方法采取相应的保护措施，确保自己的合法权益不受侵害。如果你在处理这类问题时遇到任何疑问或困难，都可以直接向我咨询，我会为你提供专业的法律帮助。