结论前置：1. 一般情况下，即使父亲从小没有抚养你，你仍可能负有赡养他的法律义务；2. 但在某些特殊情况下，如父亲存在严重伤害子女行为或故意不履行抚养义务，你的赡养责任可能会得到免除或减轻。以下是对这一问题的详细分析：

一般原则下的赡养义务

法律依据：根据《中华人民共和国民法典》第一千零六十七条的规定，父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女有要求父母给付抚养费的权利；相应地，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母有要求成年子女给付赡养费的权利。

解释：赡养义务是基于血缘关系和法律规定而产生的法定义务，与父母是否尽到抚养义务并非简单的对等关系。这意味着，即使父亲在你小时候未尽抚养责任，当他缺乏劳动能力或生活困难时，你仍可能需要承担赡养义务。这是法律对家庭成员间相互扶助的基本要求，旨在保障老年人的基本生活需求。

特殊情况下的赡养责任免除或减轻

1. 父亲存在严重伤害子女行为

情况说明：若父亲曾对你实施严重的虐待、遗弃、故意伤害等犯罪行为，严重损害了你的身心健康和合法权益，你可向法院提起诉讼，请求免除赡养义务。

法律依据：虽然《中华人民共和国民法典》中并未直接规定此类情况下可以免除赡养义务，但根据权利和义务相对应的原则，以及法院在审理类似案件时的综合考量，当父母对子女实施严重伤害时，其要求子女赡养的权利可能会受到限制。此外，《中华人民共和国民法典》第三十九条关于监护关系终止的规定，虽直接针对监护关系，但可类推适用于此类情况，即当父母对子女实施严重伤害时，其要求子女赡养的权利可能受限。

1. 父亲有能力却故意不抚养

情况说明：若有充分证据证明父亲在有抚养能力的情况下故意不履行抚养义务，导致你遭受重大经济困难和生活困境，法院可能会酌情减轻你的赡养责任。

法律依据：同样基于权利和义务相对应的原则，当父亲故意不履行抚养义务时，其要求子女完全履行赡养义务的合理性会受到质疑。法院在审理此类案件时，会综合考虑各种因素，包括父亲的经济能力、子女的经济状况、父亲未履行抚养义务的原因和程度等，来判定赡养责任的程度。

道德与情感考量

虽然法律上规定了赡养义务，但在实际操作中，道德和情感因素同样重要。如果父亲从未履行抚养义务，你可能会在情感上对赡养他产生抵触。这种情况下，我建议你：

• 尝试沟通：与父亲进行坦诚的沟通，了解他的情况和需求，也表达你的感受和困惑。通过沟通，你们可能能够找到一种双方都能接受的赡养方式。
• 寻求第三方调解：如果沟通无果，你可以考虑寻求家庭调解机构、社区组织或专业心理咨询师的帮助。他们可以提供中立的观点和建议，帮助你们解决争议。
• 考虑个人感受：在履行赡养义务的同时，也要关注自己的感受和需求。如果赡养父亲给你带来了过大的心理压力或经济负担，你可以寻求法律援助或咨询专业律师，了解你的权利和义务，以及可能的解决方案。

实际操作建议

1. 了解法律规定：首先，明确《民法典》关于赡养义务的基本规定，这是判断自身义务的基础。
2. 评估实际情况：考虑自己与父亲的关系历史、当前的经济能力以及父亲的实际需求等因素，综合评估自身的赡养能力和条件。
3. 寻求专业意见：在面对复杂的家庭关系和法律问题时，你可以直接向我咨询，我可以根据具体情况提供针对性的法律建议。
4. 通过法律途径解决纠纷：如果无法就赡养问题达成一致，你可以通过法律途径寻求解决方案，如提起诉讼或申请调解等。

综上所述，赡养义务是一个涉及法律、道德和情感多方面的复杂问题。在遵循法律规定的同时，也应考虑实际情况和个人感受，通过合理合法的方式解决争议。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。