你有责任养他老，但具体责任可能因实际情况而有所不同。
首先，从法律角度来看，子女对父母有赡养扶助的义务。这是《中华人民共和国民法典》中明确规定的，不因父母是否尽到抚养义务而改变。即使你的父亲只养了你十一年，你仍然有法律上的义务去赡养他，当他年老、生活不能自理或需要经济支持时，你应提供相应的帮助。
然而，在实际操作中，赡养责任的具体承担可能会受到多种因素的影响：
经济能力：如果你的经济能力有限，可能无法提供全额的赡养费用。在这种情况下，你可以与兄弟姐妹或其他亲属协商，共同承担赡养责任，或者寻求社会救助等渠道的帮助。
父亲的实际需求：赡养不仅仅是经济上的支持，还包括生活上的照顾和精神上的慰藉。你需要根据父亲的实际需求来确定赡养的具体方式和内容。
父子关系：虽然法律上规定了赡养义务，但父子之间的情感联系和相处方式也会影响赡养的实际执行。如果父子关系紧张或存在其他复杂情况，可能需要通过沟通、协商或寻求第三方调解等方式来解决问题。
综上所述，你有责任养父亲老，但具体如何承担这一责任需要根据实际情况来确定。如果你在这方面遇到任何困难或疑问，可以随时向我咨询，我会根据你的具体情况提供针对性的法律建议。