结论：男人不养家是否犯法，需根据具体情况判断，主要看其是否履行了对家庭成员的法定扶养义务。以下从不同角度详细分析：
一、对子女的抚养义务
直接抚养方：
- 若男人作为直接抚养孩子的一方，偶尔不履行抚养义务，如短时间内不支付孩子的生活费用或对孩子的生活照料有所疏忽，这虽然违反了法定的抚养义务，但通常不构成犯罪，而是属于民事违法行为。
- 女方或其他监护人可以以孩子的名义向法院提起诉讼，要求男方支付抚养费并履行抚养义务。法院会根据具体情况审理并作出判决，若男方拒不执行，可申请强制执行。
- 若男方故意不履行抚养义务，导致孩子生活陷入严重困境，如长期不提供基本生活保障，使孩子饥饿、患病或面临生命危险，这可能构成遗弃罪。根据《中华人民共和国刑法》第二百六十一条，对于年老、年幼、患病或其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，可处五年以下有期徒刑、拘役或者管制。
不直接抚养方：
- 夫妻离婚后，若孩子由女方直接抚养，男方应负担部分或全部抚养费。费用多少和期限长短可由双方协议确定，协议不成则由法院判决。
- 若男方不支付抚养费，同样属于民事违法行为。女方可先与男方协商，协商不成可向法院申请强制执行，法院有权采取多种措施强制其履行支付义务。
- 虽然男方不直接抚养孩子，但仍应关心孩子的成长，在合理时间探视并给予必要的关爱和教育。如男方完全对孩子不管不顾，虽在法律上目前无明确惩处措施，但若因此对孩子造成严重心理或其他伤害，女方可在有充分证据的情况下通过法律途径要求男方承担相应责任，如限制探视权等。
二、对配偶的扶养义务
夫妻间的扶养义务：
- 根据《中华人民共和国民法典》的相关规定，夫妻有相互扶养的义务。一方不履行扶养义务时，需要扶养的一方，有要求其给付扶养费的权利。
- 若男人不养家，即不履行对配偶的扶养义务，配偶可以向法院提起诉讼，要求男方支付扶养费。法院会根据双方的实际情况，如收入、财产状况等，判决男方支付相应的扶养费。
特殊情况：
- 若男人因特殊困难暂时无法履行扶养义务，如失业、生病等，且对配偶未造成不良影响，或经配偶同意暂时不养家，并在后续积极履行扶养义务，这种情况下可能不构成违法。但建议仍应尽量按判决或协议履行，以避免不必要的法律纠纷。
三、法律建议
沟通协商：
- 在出现男人不养家的情况时，首先建议双方进行沟通协商，尝试解决问题。通过沟通，可以了解对方的想法和困难，共同寻找解决方案。
寻求法律援助：
- 若沟通协商无果，可以寻求法律援助。可以向当地法律援助中心申请法律援助，或者咨询专业律师，了解自己的权利和义务，以及如何通过法律途径维护自己的合法权益。
提起诉讼：
- 若男人不养家的行为严重侵犯了家庭成员的合法权益，且无法通过沟通协商和法律援助解决问题，可以向法院提起诉讼。法院会根据相关法律法规和实际情况，作出公正的判决。
总结：男人不养家是否犯法，需根据具体情况判断。无论是作为直接抚养方还是不直接抚养方，男人都应依法履行对家庭成员的扶养义务。如违反法定义务，轻者可能构成民事违法行为，需承担民事责任；重者可能构成遗弃罪等刑事犯罪，需承担刑事责任。因此，建议男人在家庭生活中应谨慎对待扶养义务，积极履行法定义务，以维护家庭和谐稳定。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。