结论：男人出轨不养小孩，这一行为是否犯法需分情况讨论。出轨本身并不直接构成违法，但不养小孩则可能涉及违法，甚至犯罪，具体取决于不养小孩的程度和后果。
详细分析：
出轨行为的法律定性：
- 出轨，即婚姻中的一方与婚外异性发生不正当关系，这一行为主要违反的是婚姻中的忠诚义务，属于道德范畴的问题。在法律上，出轨本身并不直接构成违法，除非出轨行为伴随着其他违法行为，如重婚（与他人登记结婚或以夫妻名义共同生活）。
不养小孩的法律后果：
- 民事层面：根据《中华人民共和国民法典》的相关规定，父母对未成年子女负有抚养、教育和保护的义务。这一义务是法定的，不可推卸。如果男方不养小孩，即不履行抚养义务，女方作为直接抚养子女的一方，有权以子女的名义向法院提起诉讼，要求男方支付抚养费。法院判决后，如男方仍拒不执行，女方可申请强制执行，以确保子女的合法权益得到保障。
- 刑事层面：若男方故意不履行抚养义务，导致孩子生活陷入严重困境，如长期不提供基本生活保障，使孩子饥饿、患病或面临生命危险，这可能构成遗弃罪。根据《中华人民共和国刑法》第二百六十一条，对于年老、年幼、患病或其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，可处五年以下有期徒刑、拘役或者管制。
特殊情况说明：
- 如果男方因特殊困难（如失业、疾病等）暂时无法履行抚养义务，且对孩子未造成不良影响，或经孩子母亲同意暂时不养，并在后续积极履行抚养义务，这种情况下可能不构成违法。但建议仍应尽量按判决或协议履行，以避免不必要的法律纠纷。
综合建议：
- 道德层面：出轨和不养小孩都是不负责任的行为，不仅伤害了配偶和子女的感情，也违反了社会伦理和道德规范。男方应认识到自己的错误，积极改正，并承担起抚养子女的责任。
- 法律层面：如果男方不养小孩，女方应依法维护子女的合法权益，通过法律途径要求男方支付抚养费。如果男方行为构成遗弃罪，女方还应及时向公安机关报案，追究男方的刑事责任。
后续行动建议：
- 如果您或您身边的人遇到了类似问题，建议先尝试与男方沟通协商，看是否能达成和解并履行抚养义务。
- 如果沟通无果，可以寻求法律援助或咨询专业律师（即我，肖丹律师），了解具体的法律程序和维权途径。
- 在维权过程中，注意收集相关证据（如聊天记录、转账记录、孩子的生活照片等），以便在需要时提供给法院或公安机关。
总之，男人出轨不养小孩的行为可能涉及违法甚至犯罪，具体取决于不养小孩的程度和后果。建议您根据实际情况采取合适的措施来维护自己和子女的合法权益。