结论前置：

1. 一般情况下，即使父亲没有抚养过你，你仍可能需要承担赡养他的义务。
2. 但在特殊情况下，如未形成法定父母子女关系、被合法收养、父亲存在严重犯罪行为或法院裁定减轻责任等，你可能可以免除或减轻赡养责任。

详细分析如下：

一、赡养义务的法定性

根据《中华人民共和国民法典》第一千零六十七条的明确规定，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。这表明，赡养义务是基于父母子女的身份关系而产生的法定关系，不会因父母是否履行了抚养义务而消除。只要存在父母子女关系，且父母符合“缺乏劳动能力或者生活困难”的条件，子女就应当履行赡养义务。

二、特殊情况下的赡养责任

虽然法律规定了子女的赡养义务，但在某些特殊情形下，子女可以免除或可能减轻赡养责任：

1. 未形成法定父母子女关系：

   • 如果与父亲之间不存在法律意义上认可的父母子女关系，如没有合法收养手续的收养关系，那么可能无需承担赡养义务。

2. 被合法收养：

   • 根据法律规定，养子女与生父母以及其他近亲属间的权利义务关系，因收养关系的成立而消除。因此，如果被他人合法收养，与生父之间的权利义务关系即告解除，无需对生父承担赡养义务。

3. 父亲存在严重犯罪行为：

   • 如果父亲对子女实施了严重的犯罪行为，如虐待、遗弃、故意杀害子女等，从法律和情理角度综合考量，可能会免除子女的赡养义务。这种情况需要经过司法机关的严格认定。

4. 法院裁定减轻责任：

   • 如果父亲从未尽过抚养责任，子女可以向法院提出申请，法院可能会根据实际情况和法律规定，裁定减轻子女的赡养责任。这取决于具体的案情和法院的判断。例如，如果父亲虽然未直接抚养子女，但提供了其他形式的支持或帮助，或者子女自身经济条件有限，法院可能会在赡养费的数额、赡养方式等方面做出综合判断。

三、道德层面的考量与建议

从道德层面讲，是否赡养父亲是一个复杂的情感选择。虽然父亲可能存在过错，但赡养父母是中华民族的传统美德。亲情关系的处理往往需要综合考虑各种因素，法律义务与道德责任应相辅相成。建议子女先与父亲进行沟通，尝试了解他未履行抚养义务的原因，并表达自身的感受和想法。若无法协商解决，且认为存在可以免除或减轻赡养义务的情形，应依据法律规定和实际情况来确定自己的责任。

四、拒绝赡养的后果

如果子女拒绝履行赡养义务，可能会面临法律上的制裁和社会道德上的谴责。法律制裁可能包括被要求支付赡养费、承担法律责任等；而社会道德上的谴责则可能对子女的名誉和人际关系产生负面影响。

总结与建议：

赡养义务是法律规定的，但在特定情况下可以免除或减轻。在处理这类问题时，应结合法律规定、特殊情况以及个人道德观念进行综合考量。如果你面临这样的困境，建议先与父亲进行沟通协商，尝试寻找解决问题的最佳途径。如果无法协商解决，且认为存在可以免除或减轻赡养义务的情形，可以直接向我咨询，我会根据你的具体情况和法律规定，为你提供专业的法律建议。