结论：从法律层面讲，子女对父母有法定的赡养义务，这一义务不因父母曾经是否尽到抚养义务而免除，所以即使爸爸不管你，他老了你也需要管他；不过，从情感和实际情况出发，你可以考虑与爸爸签订相关协议来明确双方的权利和义务，但协议内容需合法合规。以下为你详细分析：

法律层面：子女对父母的赡养义务是法定的

根据《中华人民共和国民法典》第一千零六十七条规定，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。这表明，赡养父母是成年子女的法定义务，这种义务是基于父母子女之间的血缘关系和法律的规定而产生的，不附加任何条件。也就是说，无论父母在你成长过程中是否尽到了抚养义务，在他们年老、缺乏劳动能力或者生活困难时，你都有赡养他们的责任。

例如，小张的父亲在小张小时候经常对他不管不顾，甚至还做出一些伤害小张的行为。但当小张的父亲年老体弱、生活无法自理时，从法律角度来说，小张仍然需要承担赡养父亲的义务，包括提供生活费用、照顾生活起居等。如果小张拒绝赡养，父亲可以向法院提起诉讼，要求小张履行赡养义务。

实际情况与情感层面：可考虑签订协议

虽然法律上规定了子女的赡养义务，但从实际情况和情感角度出发，你可能会因为爸爸曾经不管你而在心理上有所抵触。在这种情况下，你可以考虑与爸爸签订一份协议，明确双方在赡养方面的权利和义务。不过，协议的内容必须合法合规，不能违反法律的强制性规定和公序良俗。

• 协议内容合法性：协议中不能约定免除你法定的赡养义务，比如不能约定“子女无需支付赡养费”等条款，这样的条款是无效的。但可以约定一些具体的赡养方式和细节，例如赡养费的支付方式、支付时间、支付金额（需结合当地的生活水平和爸爸的实际需求合理确定），以及照顾爸爸的方式（是亲自照顾还是聘请保姆照顾等）。
• 协议的履行与监督：签订协议后，双方都应按照协议的约定履行自己的义务。如果一方不履行协议，另一方可以通过协商、调解或者诉讼等方式来解决纠纷。同时，为了确保协议能够得到有效履行，可以邀请亲戚朋友作为见证人，或者在协议中约定监督机制。

特殊情况：存在法定免除赡养义务的情形

虽然一般情况下子女需要赡养父母，但也存在一些法定免除赡养义务的情形。例如，如果父母有严重伤害子女感情、遗弃子女等恶劣行为，且子女能够提供充分的证据证明，那么在法律上可能会酌情减轻或者免除子女的赡养义务。不过，这种情况的认定比较严格，需要综合考虑各种因素。

如果你遇到爸爸不管你，现在纠结他老了是否要管他以及想签协议的问题，建议你先与爸爸进行坦诚的沟通，表达你的想法和感受。如果沟通无果，你可以进一步向我咨询，我会根据你的具体情况为你提供更详细的法律建议和解决方案。