残疾人也需要承担赡养父母的责任，同时，不跟父亲来往并不等同于免除赡养义务。下面我详细为您解释：

1. 赡养义务的法律规定：

   • 根据我国《婚姻法》和《老年人权益保障法》的相关规定，子女对父母有赡养扶助的义务，这包括经济上的供养、生活上的照料和精神上的慰藉。这种义务是法定的，不因子女自身的身体状况（如残疾）而免除。

2. 残疾人的赡养能力：

   • 残疾人虽然可能在某些方面存在困难，但并不意味着他们完全没有赡养能力。赡养能力应根据个人的实际情况来评估，包括经济状况、身体状况等。如果残疾人有一定的经济能力，那么他们应当根据自己的能力来履行赡养义务。

3. 不与父亲来往的影响：

   • 不与父亲来往并不等同于免除了赡养义务。即使子女与父亲关系疏远或不来往，也不能成为免除赡养义务的理由。赡养义务是法律明确规定的，不受个人情感或关系的影响。

4. 建议与解决方案：

   • 如果残疾人确实存在履行赡养义务的困难，可以与父亲协商，寻求其他家庭成员或社会组织的帮助，或者通过法律途径来寻求解决方案。
   • 同时，我也建议残疾人积极面对自己的赡养责任，尽自己所能去履行这一义务，以维护家庭的和谐与稳定。

综上所述，残疾人需要承担赡养父母的责任，并且不与父亲来往并不等同于免除这一义务。如果您在赡养问题上遇到任何困难或疑问，可以随时向我咨询，我会尽力为您提供帮助。