即使小时候父母没有抚养过你，从法律角度来看，你通常依然负有赡养他们的义务。这一结论基于以下几点分析：
赡养义务的法定性：
- 根据我国《民法典》的相关规定，成年子女对父母负有赡养、扶助和保护的义务。这一义务是法定的，不依赖于父母是否曾经抚养过子女。也就是说，无论父母过去是否尽到了抚养义务，子女在成年后都有责任赡养他们。
赡养义务的内容：
- 赡养义务包括在父母缺乏劳动能力或者生活困难时，成年子女应当给付赡养费、提供生活照料等，以确保父母的基本生活需求得到满足。这是子女作为家庭成员应当承担的责任。
特殊情况的考量：
- 虽然一般情况下子女负有赡养义务，但在特定情况下，如父母对子女有严重的、长期的虐待、遗弃等严重过错行为，导致亲子关系严重恶化，法院在确定赡养方式、赡养程度等具体问题时，可能会根据实际情况进行适当调整。这种调整可能包括减少赡养费数额、改变赡养方式等，但并不意味着可以完全免除赡养义务。
道德层面的考量：
- 从道德层面来看，虽然父母早年未履行抚养责任可能给子女带来伤害，但赡养父母也是中华民族的传统美德。如果条件允许，从构建和谐家庭关系和社会公序良俗的角度出发，子女可以考虑在能力范围内给予父母一定的照顾。
综上所述，赡养父母是子女的法定义务，这一义务并不以父母是否尽到抚养义务为前提。但在特定情况下，法院可能会对赡养方式进行适当调整。如果你在处理这一问题时感到困惑或矛盾，可以与我进一步沟通，我会根据你的具体情况提供更具针对性的法律建议。