结论：男人不养家是否犯法，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：
一、对子女的抚养义务
直接抚养方：
- 如果男人是直接抚养孩子的一方，不履行抚养义务，如不提供基本生活保障、不支付教育费用等，这首先违反了法定的抚养义务。
- 若这种不履行是偶尔的、短期的，且未对孩子造成严重后果，通常属于民事违法行为。孩子的其他监护人（如母亲）可以孩子的名义向法院提起诉讼，要求男人支付抚养费并履行抚养义务。法院会根据具体情况审理并作出判决，若男人拒不执行，可申请强制执行。
- 若男人故意不履行抚养义务，导致孩子生活陷入严重困境，如长期饥饿、患病未得到治疗或面临生命危险，这可能构成遗弃罪。根据《中华人民共和国刑法》第二百六十一条，对于年老、年幼、患病或其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，可处五年以下有期徒刑、拘役或者管制。
不直接抚养方：
- 如果男人不直接抚养孩子，但根据离婚协议或法院判决，他应负担部分或全部抚养费。不支付抚养费同样属于民事违法行为。孩子的直接抚养方（如母亲）可先与男人协商，协商不成可向法院申请强制执行。
- 男人虽不直接抚养孩子，但仍应关心孩子的成长，在合理时间探视并给予必要的关爱和教育。如完全对孩子不管不顾，虽在法律上目前无明确惩处措施，但若因此对孩子造成严重心理或其他伤害，孩子的直接抚养方可在有充分证据的情况下通过法律途径要求男人承担相应责任，如限制探视权等。
二、对配偶的扶养义务
- 在婚姻关系存续期间，夫妻之间有相互扶养的义务。这包括经济上的供养、生活上的照料以及精神上的慰藉。
- 如果男人不养家，即不履行对配偶的经济供养义务，这首先违反了夫妻之间的扶养义务。配偶可以要求男人履行扶养义务，如提供生活费用、支付医疗费用等。
- 若男人拒不履行扶养义务，导致配偶生活困难或陷入困境，配偶可以向法院提起诉讼，要求男人支付扶养费。法院会根据具体情况审理并作出判决。
- 需要注意的是，夫妻之间的扶养义务与对子女的抚养义务是不同的。不履行对配偶的扶养义务，通常不会直接构成犯罪，但可能面临民事诉讼和判决执行的风险。
三、特殊情况说明
- 若男人因特殊困难（如失业、疾病等）暂时无法履行扶养或抚养义务，且对家庭成员未造成不良影响，或经家庭成员同意暂时不养，并在后续积极履行义务，这种情况下可能不构成违法。
- 但建议男人在面临困难时，应积极与家庭成员沟通，寻求解决方案，以避免不必要的法律纠纷和家庭矛盾。
建议：
- 男人应认识到自己在家庭中的责任和义务，积极履行对配偶和子女的扶养和抚养义务。
- 如面临困难或无法履行义务时，应主动与家庭成员沟通，寻求理解和支持，并共同寻找解决方案。
- 如发生纠纷或无法协商解决时，建议及时咨询专业律师（即我本人，孙静律师，专注于婚姻家庭、遗产继承领域），通过法律途径维护自己的合法权益。
法律后果：
- 不履行扶养或抚养义务可能面临民事诉讼、判决执行以及可能的刑事责任（如遗弃罪）。
- 这些法律后果不仅会对个人造成负面影响，还可能对家庭关系和社会和谐造成破坏。因此，建议男人认真对待自己在家庭中的责任和义务。