不归还别人的身份证是违法的。以下从不同角度为你详细分析：

从法律责任角度

根据《中华人民共和国居民身份证法》第十六条规定，有下列行为之一的，由公安机关给予警告，并处二百元以下罚款，有违法所得的，没收违法所得：

1. 使用虚假证明材料骗领居民身份证的；
2. 出租、出借、转让居民身份证的；
3. 非法扣押他人居民身份证的。

不归还别人的身份证，就属于非法扣押他人居民身份证的行为，违反了该法律规定，需要承担相应的法律责任，即被公安机关给予警告，并处二百元以下罚款，若有违法所得还会被没收。

从实际影响角度

身份证是公民个人身份的重要证明文件，包含了公民的姓名、性别、民族、出生日期、住址、公民身份号码等关键信息。不归还身份证，可能会给身份证所有人带来诸多不便和潜在风险：

• 生活不便：身份证所有人在日常生活中，如乘坐交通工具、办理银行业务、入住酒店等，都需要使用身份证进行身份验证。若身份证被他人扣押，将严重影响其正常生活。
• 信息泄露风险：身份证信息一旦被不法分子获取，可能会被用于进行诈骗、开设银行账户、办理信用卡等违法活动，给身份证所有人带来经济损失和信用风险。

特殊情况分析

如果是因为一些特殊原因暂时持有他人身份证，比如帮助他人办理某些事务，在事务办理完毕后，应当及时归还身份证。若因不可抗力等特殊原因无法及时归还，也应当及时与身份证所有人沟通说明情况，并在条件允许后第一时间归还。

总之，不归还别人的身份证是一种违法行为，不仅会面临法律处罚，还可能给他人带来严重的负面影响。如果你有关于身份证归还或其他婚姻家庭、遗产继承方面的法律问题，都可以直接向我咨询。