结论前置：借别人身份证不还可能涉及违法甚至犯罪行为，具体处理方式需根据实际情况判断。以下是详细分析：

1. 民事侵权角度
   身份证属于公民个人重要证件，他人未经允许持有或使用可能构成对公民人身权利的侵犯。根据《民法典》第111条，自然人的个人信息受法律保护，任何组织或个人不得非法收集、使用、加工、传输他人个人信息。若借用人拒不归还身份证，身份证所有人有权要求其返还，并可主张因身份证被冒用导致的损失赔偿（如因身份被冒用产生的债务、行政处罚等）。

2. 行政违法角度
   根据《居民身份证法》第16条，出租、出借、转让居民身份证的，由公安机关给予警告，并处二百元以下罚款；有违法所得的，没收违法所得。若借用人将身份证用于非法活动（如开办银行卡、注册公司等），身份证所有人可能因“未尽到妥善保管义务”被追究行政责任，但实践中需结合具体情节判断。

3. 刑事犯罪角度
   若借用人利用他人身份证实施犯罪行为（如诈骗、洗钱、虚开增值税发票等），身份证所有人可能因“帮助信息网络犯罪活动罪”或“共犯”被追究刑事责任，但需满足“明知他人利用信息网络实施犯罪”的主观要件。若身份证所有人对借用行为不知情，通常不构成犯罪，但需提供证据证明（如聊天记录、证人证言等）。

处理建议：

• 立即取回身份证：通过书面催告（如律师函）要求对方返还，并保留催告证据。
  
• 报警处理：若对方拒不归还或已造成损失，向公安机关报案，说明身份证被借用的情况。
  
• 挂失补办：尽快到公安机关挂失并补办新证，避免身份证被进一步冒用。
  
• 法律追责：若因身份证被冒用产生损失，可向法院起诉要求借用人赔偿，或向公安机关举报其违法行为。
  

提示：身份证涉及个人信息安全，切勿随意出借。若已发生借用情况，建议尽快采取上述措施降低风险。如有进一步疑问，可直接向我咨询具体法律问题。