结论：一般情况下，即使父亲没有抚养过你，你仍可能需要承担赡养他的义务，但特殊情况下可免除或减轻赡养责任。

法律规定与赡养义务

根据《中华人民共和国民法典》第一千零六十七条的明确规定，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。这表明，赡养义务是基于父母子女的身份关系而产生的法定关系，不会因父母是否履行了抚养义务而消除。只要存在父母子女关系，且父母符合“缺乏劳动能力或者生活困难”的条件，子女就应当履行赡养义务。

特殊情况下的赡养责任

虽然法律规定了子女的赡养义务，但在某些特殊情形下，子女可以免除或可能减轻赡养责任：

1. 未形成法定父母子女关系：

   • 如果与父亲之间不存在法律意义上认可的父母子女关系，如没有合法收养手续的收养关系，那么可能无需承担赡养义务。

2. 被合法收养：

   • 根据法律规定，养子女与生父母以及其他近亲属间的权利义务关系，因收养关系的成立而消除。因此，如果被他人合法收养，与生父之间的权利义务关系即告解除，无需对生父承担赡养义务。

3. 父亲存在严重犯罪行为：

   • 如果父亲对子女实施了严重的犯罪行为，如虐待、遗弃、故意杀害子女等，从法律和情理角度综合考量，可能会免除子女的赡养义务。这种情况需要经过司法机关的严格认定。

4. 法院裁定减轻责任：

   • 如果父亲从未尽过抚养责任，子女可以向法院提出申请，法院可能会根据实际情况和法律规定，裁定减轻子女的赡养责任。这取决于具体的案情和法院的判断。例如，如果子女自身经济困难，无力承担高额的赡养费，法院可能会根据子女的实际经济状况，适当降低赡养费的数额。

道德层面的考量与建议

从道德层面讲，是否赡养父亲是一个复杂的情感选择。赡养父母是中华民族的传统美德，亲情关系的处理往往需要综合考虑各种因素。我建议你可以先与父亲进行沟通，尝试了解他未履行抚养义务的原因，并表达自身的感受和想法。若无法协商解决，且你认为存在可以免除或减轻赡养义务的情形，可以直接向我咨询，我会根据你的具体情况，结合法律规定，为你提供专业的法律建议。

拒绝赡养的法律后果

如果子女拒绝履行赡养义务，可能会面临法律上的制裁。根据法律规定，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。如果子女拒绝支付，父母可以向法院提起诉讼，要求子女履行赡养义务。法院在审理此类案件时，会综合考虑父母的实际需要、子女的经济状况以及当地的生活水平等因素，判决子女支付相应的赡养费。如果子女仍然拒绝履行判决，法院可以采取强制执行措施，如冻结子女的银行账户、查封子女的财产等。

综上所述，赡养义务是法律规定的，但在特定情况下可以免除或减轻。在处理这类问题时，应结合法律规定、特殊情况以及个人道德观念进行综合考量。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。