不能直接断绝父子关系。在法律上，父子关系是基于血缘或法律拟制（如收养）而形成的，这种关系一旦确立，就不能通过简单的声明或行为来解除。针对您提到的父亲有外遇且不管家里的情况，我们可以从以下几个角度来分析：
一、法律上的父子关系
血缘关系：父子之间的血缘关系是天然的，无法通过法律手段来断绝。即使父亲有外遇或不管家里，这并不影响他作为生物学父亲的身份。
法律义务：父亲对子女有抚养教育的义务，这是法律规定的。如果父亲不履行这一义务，子女或其法定代理人（如母亲）可以通过法律途径来维护子女的权益，比如要求父亲支付抚养费。
二、针对父亲行为的法律措施
协商与调解：首先，可以尝试与父亲进行协商，看是否能够解决家庭矛盾。如果协商无果，可以寻求社区、居委会或妇联等组织的帮助进行调解。
法律诉讼：如果父亲的行为严重损害了子女的利益，比如拒绝支付抚养费，那么可以通过法律诉讼来维护权益。在这种情况下，法院可能会判决父亲支付拖欠的抚养费，并可能对其采取其他法律措施。
心理与情感支持：除了法律手段外，家庭成员之间的心理与情感支持也非常重要。可以寻求心理咨询师或家庭治疗师的帮助，以改善家庭关系，缓解矛盾。
三、关于“断绝父子关系”的误解
法律上无此规定：在中国法律中，并没有规定可以通过某种方式来“断绝父子关系”。即使双方签订了所谓的“断绝关系协议”，这种协议在法律上也是无效的。
社会伦理与道德：从社会伦理和道德的角度来看，父子关系是一种重要的家庭关系，应该得到尊重和保护。即使父亲有不当行为，也不应该通过“断绝关系”来解决问题。
四、建议与行动
保持冷静与理性：面对家庭矛盾时，保持冷静和理性非常重要。不要因为情绪激动而做出冲动的决定。
寻求专业帮助：如果家庭矛盾无法自行解决，可以寻求专业律师、心理咨询师或家庭治疗师的帮助。
关注子女权益：在处理家庭矛盾时，要特别关注子女的权益。确保子女得到足够的关爱和抚养。
如果您或您的家庭成员正面临类似的问题，建议直接向我咨询，我会根据具体情况提供更详细的法律建议和帮助。