不可以因为父亲没有尽到抚养义务就不来往。根据我国现行的法律法规，亲生父母与子女之间的血缘联系是确定亲子关系的基础，这种亲情纽带是不可能通过法律手段进行解除或者断绝的。即便父亲未能尽到抚养责任，子女依然需要承担赡养父亲的法定义务，而父亲也依法享有对子女的相关权益。
法律义务与权益：
- 父母对子女有抚养教育的义务，子女对父母有赡养扶助的义务。这是法律规定的基本原则，不因父母是否尽到抚养义务而改变。
- 即便父亲未能尽到抚养义务，子女在成年后仍需承担赡养责任，除非有特殊情况（如子女无赡养能力等）。
法律追索权：
- 如果父亲未能按照法律规定履行抚养义务，子女有权通过法律途径向父亲追索抚养费用等相关赔偿。
- 这并不意味着可以断绝关系，而是通过法律手段维护自己的合法权益。
实际建议：
- 虽然法律上不能断绝关系，但子女可以选择与父亲保持适当的距离，或者通过沟通、协商等方式解决彼此之间的问题。
- 如果父亲的行为对子女造成了严重的伤害或影响，子女可以考虑寻求法律援助或心理咨询，以维护自己的身心健康。
综上所述，不能因为父亲没有尽到抚养义务就不来往。子女应依法履行赡养义务，并通过合法途径维护自己的权益。如果有任何法律问题或需要进一步的帮助，请直接向我咨询。