结论前置：一般情况下，即使母亲在子女小时候未尽抚养义务，子女长大后仍需履行赡养义务。但在某些特殊情况下，如母亲存在严重犯罪行为，子女的赡养义务可能会被免除，具体需由人民法院判定。
一、原则上需要赡养
法律依据：
- 根据《中华人民共和国民法典》第一千零六十七条的规定，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。这表明，赡养义务是基于父母与子女的身份关系而产生的法定义务，不依赖于父母是否履行了抚养义务。
- 同时，《中华人民共和国宪法》第四十九条也明确规定，成年子女有赡养扶助父母的义务。
伦理道德：
- 从伦理道德层面看，赡养父母是中华民族的传统美德，它体现了社会的公序良俗和家庭的伦理价值。无论父母过去的行为如何，子女都有责任在父母需要时提供必要的照顾和支持。
二、特殊情况下的例外
尽管原则上子女需要履行赡养义务，但在某些特殊情况下，这一义务可能会被免除或减轻。具体情况包括：
严重犯罪行为：
- 如果母亲在子女小时候存在故意杀害子女、虐待子女情节严重、遗弃子女等严重犯罪行为，从法律和情理的综合考量上，可能会免除子女的赡养义务。这是否免除需由人民法院根据具体的案件事实和相关证据进行判定。
法律追责与赡养义务分离：
- 如果母亲具有抚养能力而拒不履行抚养义务，或对子女实施虐待、遗弃等严重伤害行为，子女可以依法追究其法律责任。但这并不影响子女基于亲子关系而产生的赡养义务，除非符合上述特殊情况。
三、实际处理建议
在实际操作中，如果子女与母亲之间的关系复杂或存在矛盾冲突，导致赡养问题变得敏感和复杂，建议采取以下措施：
家庭内部沟通：
- 首先尝试通过家庭内部沟通协商解决赡养问题，以达成双方都能接受的解决方案。这有助于维护家庭关系的和谐，避免不必要的法律纠纷。
第三方调解：
- 若家庭内部沟通无果，可以考虑寻求人民调解委员会等第三方机构进行调解。这些机构通常具有专业的调解能力和经验，能够更客观地处理争议，促进双方达成和解。
法律途径：
- 在协商和调解均无法解决问题的情况下，建议寻求专业法律帮助，通过诉讼途径由法院根据具体情况作出公正的裁决。法院会综合考虑法律规定、伦理道德以及实际情况，作出合理的判决。
综上所述，子女对父母的赡养义务是法律规定的法定义务，但在特定情况下可能会受到免除或减轻。在处理此类问题时，应综合考虑法律规定、伦理道德以及实际情况，并寻求合适的解决方式。如果你有进一步的法律问题或需要更具体的法律建议，可以直接向我咨询。