结论前置：在一般情况下，即使父亲没有抚养过你，当他缺乏劳动能力或生活困难时，你仍需履行赡养义务。不过，在某些特殊情况下，如父亲存在严重伤害子女的犯罪行为，赡养义务的判定可能会受到影响。接下来，我将从多个角度为你详细分析。
法律规定与赡养义务
根据《中华人民共和国民法典》第一千零六十七条的规定，成年子女不履行赵养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。这表明，赡养义务是成年子女对父母应尽的法律责任，与父母是否尽到抚养义务并非直接对等的关系。也就是说，抚养义务和赡养义务在法律上是相对独立的，不能因父母未尽抚养义务而自动免除子女的赡养责任。
特殊情形下的考量
尽管法律规定了赡养义务的一般原则，但在某些特殊情况下，这一义务的判定可能会受到一定影响：
父亲存在严重犯罪行为：如果父亲对子女实施了虐待、遗弃、故意杀害等严重违法行为，从情理和法理的综合考量上，法院在审理赡养纠纷案件时可能会结合具体案情，综合考虑各种因素，如父子关系的历史状况、子女的经济能力、父亲的过错程度等，对赡养方式、赡养标准等作出合理的判决。虽然目前法律并未明确规定此类情况下可以完全免除赡养义务，但司法实践中会体现一定的灵活性和人性化处理。
未形成法定父母子女关系：如果与父亲之间不存在法律意义上认可的父母子女关系，如没有合法收养手续的收养关系，那么可能无需承担赡养义务。不过，这种情况较为少见，且需要严格的法律程序来认定。
被合法收养：根据法律规定，养子女与生父母以及其他近亲属间的权利义务关系，因收养关系的成立而消除。因此，如果被他人合法收养，与生父之间的权利义务关系即告解除，无需对生父承担赡养义务。
实际操作建议
了解法律规定：首先，应明确《民法典》关于赡养义务的基本规定，这是判断自身义务的基础。你可以通过阅读相关法律条文或向我咨询来深入了解这些规定。
评估实际情况：考虑自己与父亲的关系历史、当前的经济能力以及父亲的实际需求等因素，综合评估自身的赡养能力和条件。如果父亲确实生活困难且无法自给自足，而你又有能力提供帮助，那么应承担相应的赡养责任。
沟通协商：尝试与父亲进行坦诚的沟通和协商，了解他的期望和需求，同时也表达你的感受和限制。双方可以共同商定一个既能满足父亲基本生活需求，又符合你经济能力的赡养方案。
寻求法律帮助：如果无法就赡养问题达成一致，或者你认为存在可以免除或减轻赡养义务的情形，可以向我咨询具体的法律建议。我可以根据你的具体情况，为你提供针对性的法律意见，并帮助你通过法律途径解决纠纷。
道德层面的考量
从道德层面讲，是否赡养父亲是一个复杂的情感选择。虽然法律上规定了赡养义务，但每个人的家庭情况和情感经历都是独特的。在做出决定时，除了考虑法律因素外，还应考虑自己的道德观念和情感承受能力。如果你感到困惑或无法做出决定，可以寻求家庭咨询或心理辅导的帮助。
综上所述，赡养义务是法律规定的成年子女对父母的责任，但在特殊情况下可能会有所调整。面对具体问题时，应结合法律规定和个人实际情况进行综合考量，并寻求专业的法律意见以确保合法合规地解决问题。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。