结论：
- 在法律层面，即使父亲从小没有抚养你，当他缺乏劳动能力或生活困难时，你通常仍需履行赡养义务。然而，在某些特殊情况下，如父亲存在严重伤害子女行为或故意不履行抚养义务，你的赡养责任可能会得到免除或减轻。
- 道德和情感因素在实际操作中同样重要，建议通过沟通、协商或寻求专业支持来解决问题。
法律分析：
赡养义务的法定性：
- 根据《中华人民共和国民法典》第一千零六十七条的规定，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。这表明，赡养义务是成年子女对父母应尽的法律责任，与父母是否尽到抚养义务并非直接对等的关系。即，抚养义务和赡养义务在法律上是相对独立的，不能因父母未尽抚养义务而自动免除子女的赡养责任。
特殊情况下的赡养责任免除或减轻：
- 父亲存在严重伤害子女行为：若父亲曾对你实施严重的虐待、遗弃、故意伤害等犯罪行为，严重损害了你的身心健康和合法权益，你可向法院提起诉讼，请求免除赡养义务。虽然目前法律并未明确规定此类情况下可以完全免除赡养义务，但司法实践中会结合具体案情，综合考虑各种因素，如父子关系的历史状况、子女的经济能力、父亲的过错程度等，对赡养方式、赡养标准等作出合理的判决，可能会体现一定的灵活性和人性化处理，适当减轻或免除赡养义务。
- 父亲有能力却故意不抚养：若有充分证据证明父亲在有抚养能力的情况下故意不履行抚养义务，导致你遭受重大经济困难和生活困境，法院可能会酌情减轻你的赡养责任。这是因为权利和义务相对应，父亲故意不履行抚养义务时，其要求子女完全履行赡养义务的合理性会受到质疑。
道德与情感考量：
- 虽然法律上你有赡养父亲的义务，但在实际操作中，道德和情感因素同样重要。如果父亲从未履行抚养义务，你可能会在情感上对赡养他产生抵触。
- 建议通过沟通、协商或寻求第三方调解（如家庭调解机构、社区组织等）来解决问题。尝试与父亲沟通，了解他的情况和需求，探索双方都能接受的赡养方式。
- 如果感到困惑或无法处理，寻求专业的心理咨询帮助是一个很好的选择。心理咨询师可以帮助你理清思绪，找到应对问题的最佳方式。
实际操作建议：
- 了解法律规定：首先，应明确《民法典》关于赡养义务的基本规定，这是判断自身义务的基础。
- 评估实际情况：考虑自己与父亲的关系历史、当前的经济能力以及父亲的实际需求等因素，综合评估自身的赡养能力和条件。
- 寻求专业意见：在面对复杂的家庭关系和法律问题时，你可以直接向我咨询，我可以根据具体情况提供针对性的法律建议，帮助你在法律框架内做出合理决策。
- 通过法律途径解决纠纷：如果无法就赡养问题达成一致，可以通过法律途径寻求解决方案，确保双方的权益得到妥善保护。
综上所述，赡养义务是一个涉及法律、道德和情感多方面的复杂问题。在遵循法律规定的同时，也应考虑实际情况和个人感受，通过合理合法的方式解决争议。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。