从法律角度来看：
- 根据我国《民法典》的规定，成年子女对父母负有赡养、扶助和保护的义务。这一义务是基于父母子女之间的身份关系而产生的，具有法定性，并不以父母是否尽到抚养义务为前提。也就是说，即使父母在你小时候没有抚养你，你仍然负有赡养他们的法律义务。
- 当父母缺乏劳动能力或者生活困难时，你应当给付赡养费、提供生活照料等，以确保他们的基本生活需求得到满足。这是法律规定的子女应尽的责任。
特殊情况下的考量：
- 在司法实践中，如果父母对子女有严重的虐待、遗弃等过错行为，导致亲子关系严重恶化，法院在确定赡养方式、赡养程度等具体问题时，可能会根据实际情况进行适当调整。这种调整可能包括减少赡养费数额、改变赡养方式等，但并不意味着可以完全免除赡养义务。
- 例如，如果父母在你小时候存在长期虐待或遗弃行为，且这种行为对你的身心健康造成了严重伤害，法院在判决时可能会考虑这些因素，适当减轻你的赡养责任。但即便如此，你仍需在一定程度上承担对父母的赡养责任。
道德层面的考量：
- 从道德层面来看，赡养父母是中华民族的传统美德。如果父母早年未履行抚养责任给你带来伤害，你在情感上可能会感到困惑或矛盾。然而，在构建和谐家庭关系和社会公序良俗的角度出发，如果条件允许，你可以考虑在能力范围内给予父母一定的照顾。
- 当然，这并不意味着你必须无条件地原谅父母的所有过错。在处理这一问题时，你可以根据自己的实际情况和感受来做出决定。
建议与行动：
- 面对复杂的家庭情况和法律义务，我建议你首先尝试与父母进行沟通，了解他们的情况和需求，同时表达自己的感受和困惑。这有助于找到一种相对平衡和互相尊重的方式来处理赡养问题。
- 如果直接沟通存在困难，你可以考虑寻求家族长辈、居委会、调解机构等第三方的帮助来化解心结和处理纠纷。
- 在处理这一问题时，请尽量保持理性和冷静。避免因情绪而做出过激的决定，而是综合考虑各种因素来做出最符合自己情况和价值观的选择。
综上所述，从法律角度来看，即使父母从小没有抚养过你，你仍然负有赡养他们的义务。但在特定情况下，法院可能会对赡养方式进行适当调整。在处理这一问题时，请综合考虑法律义务、道德情感和家庭实际情况。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。