不归还身份证，这一行为主要涉及到对他人居民身份证的非法扣押，根据《中华人民共和国居民身份证法》的相关规定，这是违法的。

具体来说，非法扣押他人居民身份证是《中华人民共和国居民身份证法》明确禁止的行为之一。如果有人非法扣押了你的身份证，该行为人将会受到公安机关的警告，并可能被处以二百元以下的罚款。如果其因非法扣押身份证而获得了违法所得，那么这些违法所得也将被没收。

此外，我想进一步说明的是，居民身份证是我国公民的法定身份证件，它承载着公民的重要个人信息，是公民进行社会活动、享受公共服务的重要凭证。因此，保护居民身份证的安全，防止其被非法扣押、冒用或泄露，是维护公民合法权益、保障社会秩序稳定的重要一环。

如果你遇到了身份证被非法扣押的情况，我建议你立即向当地的公安机关报案，并提供相关证据，以便公安机关能够及时介入调查，并依法对违法行为人进行处罚。同时，你也可以要求违法行为人立即归还你的身份证，以维护你的合法权益。

总的来说，不归还身份证是违法的，我们应当增强法律意识，妥善保管自己的身份证，并在遇到相关违法行为时，及时向公安机关报案，以维护自己的合法权益。