结论：父亲在你年幼时没有尽到抚养义务，并不直接意味着你可以不赡养他。赡养义务与抚养义务虽相关联，但并非简单的对应关系，需根据具体情况和法律规定来判断。
法律背景与解释：
抚养义务与赡养义务的定义：
- 抚养义务：通常指父母对未成年子女或不能独立生活的子女在物质上和生活上给予必要的照顾和抚养的义务。
- 赡养义务：则是指子女对父母在经济上供养、生活上照料和精神上慰藉的义务。
法律关系的独立性：
- 抚养义务与赡养义务在法律上是相对独立的。父母未尽抚养义务，并不直接免除子女的赡养义务。这是因为赡养义务是基于子女与父母之间的血缘关系和法律规定的，具有强制性和无条件性。
特殊情况下的赡养义务免除：
- 虽然一般情况下子女不能因父母未尽抚养义务而拒绝赡养，但在某些特殊情况下，如父母有严重虐待、遗弃子女等行为，且情节恶劣，经法律程序确认后，子女可能可以免除赡养义务。然而，这种情况需要严格的法律程序和证据支持。
道德层面的考量：
- 从道德层面来看，即使父母在子女年幼时未尽抚养义务，子女在成年后也应考虑赡养父母。毕竟，父母与子女之间的血缘关系是无法割断的，且赡养父母也是中华民族的传统美德。
法律建议：
沟通协商：
- 如果可能的话，建议先与父亲进行沟通协商，了解他未尽抚养义务的原因，并尝试达成和解。这有助于缓解家庭矛盾，也为后续的赡养问题打下良好的基础。
寻求法律援助：
- 如果沟通协商无果，且你认为父亲的行为确实构成了严重虐待或遗弃，你可以咨询专业律师（即我，王涛杰律师），了解具体的法律程序和证据要求，以便通过法律途径来维护自己的权益或寻求赡养义务的免除。
考虑赡养方式：
- 即使父亲未尽抚养义务，你也可以根据自身的经济状况和实际情况，选择适当的赡养方式。例如，你可以提供经济支持、生活照料或精神慰藉等。
可能的法律后果：
- 如果你拒绝赡养父亲，且没有合法的免除赡养义务的理由，你可能会面临法律责任。根据相关法律规定，子女不履行赡养义务时，无劳动能力的或生活困难的父母，有要求子女付给赡养费的权利。如果子女拒不履行，父母可以向法院提起诉讼，要求子女承担赡养责任。
总之，赡养义务与抚养义务虽相关联，但并非简单的对应关系。在处理这类问题时，建议综合考虑法律、道德和实际情况等多方面因素，并寻求专业律师的帮助以维护自己的合法权益。如果你有任何具体的法律问题或需要进一步的法律建议，请直接向我咨询。