结论前置：从法律层面来说，即使父亲从小到大没有管过你，你一般仍需要承担赡养他的义务。不过，在一些特殊情况下，赡养义务可能会受到一定影响。下面为你详细分析：

法律规定的赡养义务

根据我国《民法典》第一千零六十七条规定，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。这表明，赡养父母是成年子女的法定义务，不因父母在子女成长过程中是否尽到抚养义务而免除。法律设立赡养义务的初衷是为了保障老年人的基本生活需求，维护家庭关系的稳定和社会的和谐。从社会伦理和道德层面来看，赡养父母也是中华民族的传统美德，是子女应尽的责任。

特殊情况分析

1. 父亲存在严重过错：如果父亲在子女成长过程中存在严重虐待、遗弃等违法行为，对子女的身心健康造成了极大的伤害，那么子女赡养义务的履行可能会受到一定影响。例如，父亲长期对子女进行身体上的暴力虐待，导致子女身体残疾或者心理出现严重问题，在这种情况下，子女虽然不能完全免除赡养义务，但可以根据实际情况适当减轻赡养的程度。不过，这种情况需要子女提供充分的证据来证明父亲的过错行为以及该行为对自己造成的损害。
2. 父亲有经济能力且生活不困难：如果父亲有稳定的经济来源，如拥有足够的养老金、房产出租收入等，且生活并不困难，那么子女赡养义务的履行方式可能会有所不同。在这种情况下，子女可能不需要直接给付赡养费，但仍需在精神上给予父亲关怀和照顾，例如定期看望、陪伴父亲等。

法律后果

如果子女不履行赡养义务，父亲可以向法院提起诉讼，要求子女给付赡养费。法院会根据父亲的实际生活需求、子女的经济能力等因素，判决子女支付一定数额的赡养费。如果子女拒不执行法院的判决，父亲还可以申请强制执行，法院可以采取查封、扣押、冻结子女的财产等措施来保障父亲的合法权益。

建议

1. 沟通协商：如果父亲确实存在一些让你难以接受的行为，导致你不想赡养他，建议你先尝试与父亲进行沟通协商，表达你的感受和想法，看看是否能够达成一个双方都能接受的解决方案。
2. 寻求调解：如果沟通协商无果，你可以寻求社区、村委会或者人民调解委员会等组织的帮助，通过调解的方式来解决赡养纠纷。调解具有灵活性和便捷性，能够在一定程度上缓解家庭矛盾。
3. 法律途径：如果调解也无法解决问题，你可以通过法律途径来解决。在诉讼过程中，你需要提供相关的证据来支持自己的主张，法院会根据法律规定和实际情况作出公正的判决。

如果你还有其他关于婚姻家庭方面的法律问题，欢迎直接向我咨询。