结论前置：从法律层面来讲，即使父亲没有尽到抚养义务，子女一般仍需履行赡养责任。这是法定的、具有强制性的义务，并不因父母未尽抚养义务而免除。但在特殊情况下，如父亲存在严重违法犯罪行为对子女造成伤害，子女的赡养责任可能会适当免除，需由法院具体判定。
法律分析：
一般情况：
- 根据《中华人民共和国民法典》第一千零六十七条的明确规定，成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。该法条并未将父母是否履行抚养义务作为子女履行赡养义务的前提条件，因此，赡养义务是独立的法定责任。
- 在大多数情况下，无论父亲是否尽到了抚养义务，子女都有责任赡养年老的父母。这是因为赡养义务是基于亲属关系和法律规定而产生的，不依赖于父母过去的行为。
特殊情况：
- 尽管原则上子女不能以父亲未尽抚养义务为由拒绝赡养，但存在一些特殊情况可以例外。如果父亲存在严重的违法犯罪行为，如对子女实施虐待、遗弃、故意杀害等，且情节恶劣，那么在司法实践中，法院有可能会根据具体案件事实和证据来综合判定，适当免除子女的部分或全部赡养责任。
处理建议：
协商：
- 如果父亲确实没有尽到抚养义务，导致亲子关系紧张等问题，在父亲要求赡养时，子女首先可以尝试与父亲进行协商，就赡养的方式、金额等达成一致意见。
诉讼：
- 若协商不成，子女可以向人民法院提起诉讼，由法院根据双方的具体情况和证据进行判决。法院将会综合考虑各种因素，包括父母的实际需要、子女的经济能力、过去的抚养情况等，作出公正合理的裁决。
寻求专业法律帮助：
- 在处理此类复杂问题时，建议子女寻求专业的法律咨询和帮助，以便更好地了解自己的权益和义务，并在法律的框架内寻求最合适的解决方案。
综上所述，子女对父母的赡养义务是法定的、具有强制性的，不因父母未尽抚养义务而免除。但在特殊情况下，子女的赡养责任可能会得到适当调整。在处理此类问题时，建议子女首先尝试与父亲协商，协商不成时再向人民法院提起诉讼，并考虑寻求专业律师的法律帮助。