结论前置：
详细分析：
赡养义务的法律依据
根据《中华人民共和国民法典》的相关规定，成年子女对父母负有赡养、扶助和保护的义务。这是基于父母子女关系的自然血缘联系以及法律规定而产生的法定义务。当父母缺乏劳动能力或者生活困难时，成年子女应当给付赡养费，并履行照顾和关怀父母生活的责任。这一规定并不以父母是否尽到抚养义务为前提条件，因此，即使父亲未养育子女成年，子女在成年后仍需承担赡养年老父亲的责任。
赡养义务与抚养义务的关系
赡养义务与抚养义务虽然都是基于父母子女关系而产生的，但它们并不构成对等的权利义务关系。抚养义务是父母对未成年子女或不能独立生活的成年子女所负有的义务，而赡养义务则是成年子女对缺乏劳动能力或生活困难的父母所负有的义务。这两种义务在法律上是独立的，不因一方未履行而免除另一方的义务。因此，子女不能以父亲未尽抚养义务为由拒绝履行赡养父亲的法定义务。
特殊情况下的调整
尽管原则上子女需承担赡养责任，但在司法实践中，如果子女能证明父亲对自己未履行抚养义务且情节严重，如存在遗弃、虐待或家庭暴力等行为，法院可能会根据具体情况适当调整子女的赡养义务履行程度和方式。这种调整旨在平衡父母与子女之间的权利义务关系，确保公平合理。但需要注意的是，这种调整并不免除子女的赡养责任，只是可能减轻其负担或改变履行方式。在极端情况下，如父亲的行为严重违背了父母应尽的责任和义务，破坏了基本的亲子关系和家庭伦理，法院甚至可能免除子女的赡养责任。
道德层面的考量
除了法律义务外，赡养老人也是中华民族的传统美德和社会公德的一部分。尽管父亲可能存在过错，但子女仍应尽力履行赡养义务，以体现对长辈的尊重和关爱。这不仅是法律的要求，也是道德和伦理的体现。
解决建议
面对复杂的家庭情况，我建议子女与父亲尽量通过沟通协商解决矛盾。如果无法协商一致，可以寻求基层调解组织或法律专业人士的帮助，以寻求合理的解决方案。在处理此类问题时，应兼顾法律与道德的要求，寻求公平合理的解决方案。
最后，如果你或你身边的人正面临这样的问题，或者有任何关于婚姻家庭、刑事辩护方面的法律疑问，都可以直接向我咨询。我会根据你的具体情况，为你提供专业、全面的法律建议。