结论前置：即使小时候父亲没有尽到抚养义务，长大后子女仍然不能因此免除赡养父亲的法定义务。

详细分析：

1. 法定义务的明确性：

   • 根据《中华人民共和国民法典》第一千零六十七条，成年子女对父母负有赡养、扶助和保护的义务。这一规定确立了子女赡养父母的法律基础，并强调了赡养义务的法定性和无条件性。
   • 赡养义务的产生是基于父母子女之间的身份关系，这种关系具有法律上的约束力，不因父母是否履行抚养义务而改变。

2. 道德伦理的考量：

   • 赡养老人是中华民族的传统美德，即使父亲在子女成长过程中未尽到抚养义务，基于亲情和人道主义，子女在能力范围内给予父亲一定的照顾是符合社会公序良俗的。

3. 特殊情况的考量：

   • 在司法实践中，如果父亲存在严重的过错，如遗弃、虐待子女等恶劣行为，法院在处理赡养纠纷时，可能会根据具体情况适当考量父亲的过错程度，对赡养方式、赡养程度等作出合理的判定。
   • 然而，这并不意味着子女可以完全免除赡养责任。因为赡养义务的法律基础并未因父亲的过错而消失，只是在具体履行方式上可能会有所调整。

4. 实际履行中的建议：

   • 如果面临赡养问题上的困惑或疑问，建议子女首先尝试与父亲进行沟通，寻求双方都能接受的解决方案。
   • 如果沟通无果，可以寻求当地居委会、村委会或人民调解委员会等机构的帮助进行调解。
   • 在必要时，也可以向法院提起诉讼，由法院根据具体情况作出公正判决。

综上所述，赡养父母是子女的法定义务，这一义务不因父母是否履行抚养义务而改变。在面对赡养问题时，建议子女理性对待，依法履行自己的义务，并寻求合适的解决方案以维护家庭和谐。如果你在这方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。