无意拿走身份证不归还，虽然可能不构成刑法上的犯罪，但确实属于违法行为。下面我来详细解释一下：

首先，从法律角度来看，身份证是公民的重要身份证件，具有证明公民身份的法律效力。根据《中华人民共和国居民身份证法》的相关规定，任何组织或者个人不得扣押居民身份证，非法扣押他人居民身份证的，由公安机关给予警告，并处二百元以下罚款，有违法所得的，没收违法所得。虽然这一规定主要针对的是“扣押”行为，但无意拿走并拒不归还身份证，实际上也剥夺了身份证主人的使用权，与“扣押”在性质上有相似之处。

其次，即使是无意的，但在得知后仍然拒不归还，这就构成了对他人财物的侵占行为。虽然身份证本身可能不具有直接的经济价值，但它对于身份证主人来说具有极其重要的使用价值。因此，这种拒不归还的行为，侵犯了身份证主人的合法权益。

最后，从道德层面来说，无意拿走他人身份证并拒不归还，也是不符合社会公德和道德规范的。我们应该尊重他人的财产权和隐私权，及时归还他人的财物。

综上所述，无意拿走身份证不归还属于违法行为，建议你在得知情况后，及时归还身份证给主人，以避免不必要的法律纠纷和道德谴责。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。