结论前置：
- 在法律层面，即使父亲从小没有抚养你，当他缺乏劳动能力或生活困难时，你仍可能负有赡养他的义务。
- 在特殊情况下，如父亲存在严重伤害子女行为或故意不履行抚养义务，你的赡养责任可能会得到免除或减轻。
- 道德和情感因素在实际操作中也需要考虑，建议通过沟通、协商或寻求专业支持来解决问题。
法律分析：
赡养义务的法定性
根据《中华人民共和国民法典》第一千零六十七条的规定，父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利；相应地，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。这表明，赡养义务是成年子女对父母应尽的法律责任，与父母是否尽到抚养义务并非直接对等的关系。即，抚养义务和赡养义务在法律上是相对独立的，不能因父母未尽抚养义务而自动免除子女的赡养责任。
特殊情况下的赡养责任免除或减轻
父亲存在严重伤害子女行为：
- 若父亲曾对你实施严重的虐待、遗弃、故意伤害等犯罪行为，严重损害了你的身心健康和合法权益，你可向法院提起诉讼，请求免除赡养义务。虽然法律并未明确规定此类情况下可以完全免除赡养义务，但司法实践中会体现一定的灵活性和人性化处理，法院可能会根据具体情况适当减轻你的赡养责任。
父亲有能力却故意不抚养：
- 若有充分证据证明父亲在有抚养能力的情况下故意不履行抚养义务，导致你遭受重大经济困难和生活困境，法院可能会酌情减轻你的赡养责任。这是因为权利和义务相对应，父亲故意不履行抚养义务时，其要求子女完全履行赡养义务的合理性会受到质疑。
实际操作建议
了解法律规定：
- 首先，应明确《民法典》关于赡养义务的基本规定，这是判断自身义务的基础。你可以查阅相关法律条文，或者向我咨询具体的法律解释。
评估实际情况：
- 考虑自己与父亲的关系历史、当前的经济能力以及父亲的实际需求等因素，综合评估自身的赡养能力和条件。这有助于你更理性地看待赡养问题，并做出合理的决策。
沟通与协商：
- 尝试与父亲进行沟通，了解他的情况和需求，同时表达自己的感受和困惑。通过沟通，你们可能能够找到一种相对平衡和互相尊重的方式来处理赡养问题。如果直接沟通存在困难，可以考虑寻求家族长辈、居委会、调解机构等第三方的帮助来化解心结和处理纠纷。
寻求专业支持：
- 如果你感到困惑或无法处理赡养问题，可以寻求专业的法律或心理咨询支持。我可以为你提供具体的法律建议，帮助你理解法律条款和司法实践中的处理方式；心理咨询师则可以帮助你理清思绪，找到应对问题的最佳方式。
道德与情感考量：
虽然法律上你有赡养父亲的义务，但在实际操作中，道德和情感因素同样重要。如果父亲从未履行抚养义务，你可能会在情感上对赡养他产生抵触。然而，赡养父母也是中华民族的传统美德，体现了对长辈的尊重和关爱。因此，在处理赡养问题时，除了考虑法律因素外，也应尽量兼顾道德和情感层面的需求。
综上所述，赡养义务是一个涉及法律、道德和情感多方面的复杂问题。在遵循法律规定的同时，也应考虑实际情况和个人感受，通过合理合法的方式解决争议。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。