结论：父亲没养你小，从法律层面讲，你并不因此自动获得不赡养他的权利，不赡养他可能构成违法，但在特定情况下可能存在免责事由。下面我将从多个角度为你详细分析：
一、法律义务的角度
父母的抚养义务：
- 根据《中华人民共和国民法典》的相关规定，父母对未成年子女负有抚养、教育和保护的义务。这一义务是法定的，不可推卸。如果父亲没有履行这一义务，从道德和法律上都是应当受到谴责的，但这并不直接免除你未来对他的赡养义务。
子女的赡养义务：
- 同样根据《中华人民共和国民法典》，成年子女对父母负有赡养、扶助和保护的义务。这一义务也是法定的，不因父母过去是否履行了抚养义务而自动免除。因此，从法律条文上看，即使父亲没有养你小，你仍然有义务赡养他，尤其是在他缺乏劳动能力或者生活困难的情况下。
二、特殊情况下的考虑
父亲未履行抚养义务的后果：
- 如果父亲确实没有履行抚养义务，你可以通过法律途径要求他支付过去的抚养费（如果仍在诉讼时效内）。但这并不直接解决未来的赡养问题。
- 如果父亲的行为构成遗弃（如长期拒绝抚养且情节恶劣），他可能面临刑事处罚，但这同样不直接免除你的赡养义务。
免责事由：
- 在极少数情况下，如果父亲有严重虐待、遗弃等行为，且这些行为对你造成了极大的身心伤害，你可能在道德上有理由拒绝赡养他。但从法律层面讲，除非你能证明父亲的行为构成了对你赡养义务的法定免除事由（如父亲被依法撤销监护人资格且未继续负担抚养费用），否则你仍然需要履行赡养义务。
- 另一个可能的免责事由是父亲有足够的经济能力且自愿放弃你的赡养，同时你也无需承担他的生活费用。但这种情况需要明确的法律文件或协议来支持。
三、实际建议
沟通协商：
- 在考虑法律途径之前，我建议你先尝试与父亲进行沟通协商，了解他的想法和需求，同时也表达你的感受和立场。有时候，通过沟通可以达成双方都能接受的解决方案。
寻求法律援助：
- 如果你认为自己的权益受到了侵害，或者无法与父亲达成协议，你可以寻求法律援助。我可以帮助你分析具体情况，提供法律建议和支持。
考虑道德和情感因素：
- 除了法律义务外，赡养父母还涉及到道德和情感因素。即使法律上没有明确免除你的赡养义务，你也可以根据自己的实际情况和感受来做出决定。但请记住，任何决定都应该基于充分的信息和理性的思考。
总结与提醒：父亲没养你小并不直接免除你对他的赡养义务。在考虑是否赡养他时，你需要综合考虑法律、道德和情感等多个因素。如果你有任何疑问或需要进一步的法律建议，请直接向我咨询。