即使父亲在你年幼时没有尽到抚养义务，从法律层面上讲，你在成年后仍负有赡养他的义务。不过，这一义务在具体执行时可能会受到一些特殊情况的影响。

1. 一般原则：

   • 根据《中华人民共和国民法典》的相关规定，成年子女对父母负有赡养、扶助和保护的义务。这一义务是基于父母子女之间的身份关系产生的，具有法定性，不因父母是否履行抚养义务而改变。
   • 赡养义务不仅限于经济上的供养，还包括生活上的照料和精神上的慰藉。

2. 特殊情况下的考量：

   • 如果父亲存在严重伤害子女行为，如虐待、遗弃、故意伤害等，且这些行为严重损害了子女的身心健康和合法权益，子女可以向法院提起诉讼，请求免除或减轻赡养义务。
   • 在司法实践中，法院会根据具体情况进行衡量，比如考虑父亲的不抚养行为是否出于故意、是否对子女造成了严重影响等因素，来判定子女的赡养责任。

3. 道德与情感考量：

   • 虽然法律上规定了赡养义务，但在实际操作中，道德和情感因素同样重要。如果父亲从未履行抚养义务，子女可能会在情感上对赡养他产生抵触。
   • 建议通过沟通、协商或寻求第三方调解来解决问题，尝试探索双方都能接受的赡养方式。

综上所述，赡养义务是一个涉及法律、道德和情感多方面的复杂问题。在遵循法律规定的同时，也应考虑实际情况和个人感受。如果你有任何疑问或需要进一步的法律建议，可以直接向我咨询。