结论：即使母亲在您小时候未尽抚养义务甚至存在虐待行为，您在法律上仍对其负有赡养义务，但可通过法律途径主张减免赡养费或调整赡养方式。以下从法律义务、例外情形、救济途径三个角度展开分析：

一、法律义务：赺养义务的法定性

根据《民法典》第1067条第二款规定：“成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利”。该条款明确了两点：

1. 义务主体：所有成年子女，无论性别、婚姻状况或经济能力，均需承担赡养义务；
2. 义务内容：包括经济供养（如支付赡养费）、生活照料（如协助就医、日常护理）和精神慰藉（如定期探望、情感沟通）。

法律逻辑：赡养义务是法定强制义务，其设立基于父母子女间的血缘关系和社会伦理，不因父母未尽抚养义务或存在过错而免除。即使母亲未抚养您，您仍需履行赡养责任，但可通过其他途径主张权利。

二、例外情形：赺养义务的减免条件

法律虽未直接规定“父母虐待子女可免除赡养义务”，但若母亲存在以下情形，您可主张减免赡养费或调整赡养方式：

1. 虐待、遗弃子女情节严重：根据《民法典》第1091条，若母亲长期虐待、遗弃您，导致您身心严重受损，您可向法院起诉要求解除亲子关系（但需注意：我国法律仅允许收养关系中的养父母与养子女解除关系，亲生父母子女关系无法通过法律解除）。虽不能完全免除赡养义务，但法院可能酌情减少赡养费或调整赡养方式（如以经济支持替代生活照料）。
2. 母亲有经济来源且生活不困难：若母亲有退休金、房产或其他收入，足以维持基本生活，您可主张减少赡养费支付金额。
3. 其他子女共同承担赺养义务：若您有兄弟姐妹，可协商分担赡养责任，或通过法院判决确定各自份额。

案例参考：某法院曾判决：因母亲长期虐待子女，子女需支付赡养费，但金额低于当地标准，且无需提供生活照料。

三、救济途径：如何维护自身权益

若您因母亲虐待行为拒绝赺养，可能面临母亲起诉要求支付赡养费的风险。为平衡法律义务与自身权益，建议您采取以下步骤：

1. 收集证据：保留母亲虐待您的证据（如医疗记录、报警记录、证人证言、照片或视频等），证明其存在过错。
2. 协商调解：通过居委会、村委会或司法所调解，明确赡养方式（如仅支付赡养费，不提供生活照料）。
3. 诉讼主张：若协商无果，可向法院起诉，主张减免赡养费或调整赡养方式。法院将综合母亲的经济状况、虐待情节等因素判决。

温馨提示：赡养义务是法律底线，但情感修复需双方努力。若您愿意，可尝试通过心理咨询或家庭关系调解，改善与母亲的关系，减少未来纠纷。

总结：赡养母亲是您的法定义务，但若母亲存在严重虐待行为，您可通过法律途径主张减免赡养费或调整赡养方式。具体操作需结合证据和案件细节，建议您整理相关材料后，直接向我咨询，我将为您制定详细方案。