即使父亲在你未成年时没有抚养你，从法律层面上讲，你在成年后仍可能负有赡养他的义务。不过，在某些特殊情况下，这一义务可能会得到免除或减轻。以下是对这一问题的详细分析：

1. 一般原则下的赡养义务：

   • 根据《中华人民共和国民法典》第一千零六十七条的规定，父母不履行抚养义务的，未成年子女有要求父母给付抚养费的权利；相应地，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母有要求成年子女给付赡养费的权利。这意味着，赡养义务是基于血缘关系和法律规定而产生的法定义务，与父母是否尽到抚养义务并非简单的对等关系。

2. 特殊情况下的赡养责任免除或减轻：

   • 如果父亲存在严重的虐待、遗弃、故意伤害等犯罪行为，严重损害了你的身心健康和合法权益，你可以向法院提起诉讼，请求免除赡养义务。这是基于《中华人民共和国民法典》中关于监护关系终止的规定，虽直接针对监护关系，但可类推适用于此类情况。
   • 若有充分证据证明父亲在有抚养能力的情况下故意不履行抚养义务，导致你遭受重大经济困难和生活困境，法院可能会酌情减轻你的赡养责任。因为权利和义务相对应，父亲故意不履行抚养义务时，其要求子女完全履行赡养义务的合理性会受到质疑。

3. 道德与情感考量：

   • 虽然法律上你有赡养父亲的义务，但在实际操作中，道德和情感因素同样重要。如果父亲从未履行抚养义务，你可能会在情感上对赡养他产生抵触。
   • 建议尝试与父亲沟通，了解他的情况和需求，探索双方都能接受的赡养方式。如果沟通协商不成，可以通过法律途径，由法院根据实际情况确定赡养的方式和标准。

综上所述，赡养义务是一个涉及法律、道德和情感多方面的复杂问题。在遵循法律规定的同时，也应考虑实际情况和个人感受。如果你在这方面有进一步的疑问或需要具体的法律建议，可以直接向我咨询。