结论前置：即使父亲从小没有抚养你，从法律层面上讲，你在成年后仍可能负有赡养他的义务。不过，在某些特殊情况下，你的赡养责任可能会得到免除或减轻。以下从法律、道德和情感等多个角度为你详细分析：

法律角度

1. 一般原则下的赡养义务
   • 法律依据：根据《中华人民共和国民法典》第一千零六十七条规定，父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女有要求父母给付抚养费的权利；相应地，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母有要求成年子女给付赡养费的权利。
   • 解释：赡养义务是基于血缘关系和法律规定而产生的法定义务，与父母是否尽到抚养义务并非简单的对等关系。也就是说，即便父亲在你小时候未尽抚养责任，当他缺乏劳动能力或生活困难时，你仍可能需要承担赡养义务。例如，父亲年老体弱，没有经济来源，生活陷入困境，此时从法律层面，你就有义务给予他一定的经济支持和生活照料。
2. 特殊情况下的赡养责任免除或减轻
   • 父亲存在严重伤害子女行为
     • 情况说明：若父亲曾对你实施严重的虐待、遗弃、故意伤害等犯罪行为，严重损害了你的身心健康和合法权益，你可向法院提起诉讼，请求免除赡养义务。比如，父亲长期对你进行殴打、辱骂，导致你身体受伤、精神受到严重创伤，甚至构成犯罪的，这种情况下，法院可能会考虑免除你的赡养义务。
     • 法律依据：虽然《中华人民共和国民法典》第三十九条主要针对监护关系终止的规定，但可类推适用于此类情况，即当父母对子女实施严重伤害时，其要求子女赡养的权利可能受限。
   • 父亲有能力却故意不抚养
     • 情况说明：若有充分证据证明父亲在有抚养能力的情况下故意不履行抚养义务，导致你遭受重大经济困难和生活困境，法院可能会酌情减轻你的赡养责任。例如，父亲有稳定的收入和财产，但拒绝为你提供基本的生活费用、教育费用等，使你生活艰难，在这种情况下，法院在判决你承担赡养义务时，可能会考虑减轻你的负担。
     • 法律依据：权利和义务相对应，父亲故意不履行抚养义务时，其要求子女完全履行赡养义务的合理性会受到质疑，法院会综合考虑各种因素判定赡养责任程度。

道德与情感考量

• 虽然法律上你有赡养父亲的义务，但在实际操作中，道德和情感因素同样重要。如果父亲从未履行抚养义务，你可能会在情感上对赡养他产生抵触。毕竟，从小缺乏父亲的关爱和照顾，在心理上可能会对父亲存在不满和怨恨。
• 建议：
  • 通过沟通、协商或寻求第三方调解（如家庭调解机构、社区组织等）来解决问题。尝试与父亲沟通，了解他的情况和需求，探索双方都能接受的赡养方式。也许父亲有自己的苦衷，通过沟通可以化解彼此的矛盾和误解。
  • 如果感到困惑或无法处理，可以直接向我咨询，我可以为你提供更具体的建议和支持，帮助你更好地应对这个问题。

赡养义务是一个涉及法律、道德和情感多方面的复杂问题。在遵循法律规定的同时，也应考虑实际情况和个人感受，通过合理合法的方式解决争议。如果你还有其他疑问或需要进一步的帮助，随时都可以问我。