父母离异后，唯一的孩子归母亲抚养，平时也不与父亲来往，孩子对父亲的遗产仍有继承权。

在我国法律规定下，子女是父母的法定继承人。父母离异这一事实并不影响孩子与父亲之间的亲子关系。只要孩子没有做出丧失继承权的法定行为，例如故意杀害被继承人（父亲）、为争夺遗产而杀害其他继承人等严重违法行为，就享有对父亲遗产的继承权。这种继承权源于亲子关系的天然联系和法律对家庭关系及财产传承的规范。

即使父母离婚，且孩子平时不与父亲来往，孩子的继承权也是基于其作为父亲子女的身份而存在的。在父亲去世时，如果存在遗嘱且遗嘱中没有剥夺孩子的继承权，那么孩子将按照遗嘱继承；如果没有遗嘱，则按照法定继承，孩子有权参与遗产的分配。

因此，无论父母离异后孩子的抚养权归谁，以及孩子与父亲的来往情况如何，孩子对父亲的遗产都依法享有继承权。这是法律对子女继承权的明确规定，保障了子女在家庭关系变化中的合法权益。