不能简单地“不认”不负责任的家人。在婚姻家庭关系中，每个成员都承担着一定的责任和义务，这些责任和义务是基于法律、道德以及家庭关系本身的要求而存在的。

首先，从法律的角度来看，家庭成员之间的权利和义务是受到法律保护的。例如，父母对子女有抚养教育的义务，子女对父母有赡养扶助的义务。这些义务是法定的，不能因个人意愿而随意免除。如果家庭成员没有履行其应尽的义务，其他家庭成员可以依法要求其履行，甚至通过法律途径来维护自己的权益。

其次，从道德的角度来看，家庭成员之间应该相互扶持、共同承担家庭责任。不负责任的行为不仅违背了家庭伦理道德，也会破坏家庭的和谐与稳定。因此，我们不能简单地“不认”不负责任的家人，而应该通过沟通、协商等方式来解决问题，促使家庭成员履行其应尽的义务。

最后，需要指出的是，每个家庭的情况都是不同的，具体如何处理不负责任的家人问题，需要根据家庭的具体情况来综合考虑。如果遇到了难以解决的问题，建议寻求专业的法律咨询或者家庭咨询师的帮助，以便更好地维护家庭的和谐与稳定。

总之，家庭成员之间的关系是复杂而微妙的，需要我们用心去经营和维护。面对不负责任的家人，我们应该采取积极、理性的态度来应对，而不是简单地“不认”。