结论：男方带小孩离家出走不管智障女方，这一行为是否犯法，需根据具体情况来判断，可能涉及遗弃家庭成员的违法行为，甚至可能构成遗弃罪。
分析说明：
遗弃家庭成员的违法行为：
- 根据《中华人民共和国民法典》的相关规定，家庭成员间应当敬老爱幼，互相帮助，维护平等、和睦、文明的婚姻家庭关系。禁止家庭成员间的虐待和遗弃。
- 若男方作为家庭成员，对智障女方有扶养义务而拒绝扶养，且情节恶劣，如长期离家出走、不提供生活来源、不给予必要的照料等，那么男方的行为就可能构成遗弃家庭成员的违法行为。
遗弃罪的构成：
- 根据《中华人民共和国刑法》的相关规定，对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。
- 在本案例中，若智障女方因男方的遗弃行为而遭受严重身体或精神损害，或者生活陷入困境，且男方的行为情节恶劣，那么男方的行为就可能构成遗弃罪。
特殊场景：
- 若男方离家出走是因为女方存在严重危害家庭安全或男方人身安全的行为（如暴力、虐待等），且男方在离家出走前已采取合理措施（如报警、寻求帮助等）但未能解决问题，那么男方的行为可能不构成遗弃。但这种情况需要具体证据来支持，且男方仍需承担对子女的抚养义务。
行动建议：
- 对于女方：若男方确实存在遗弃行为，女方或其法定代理人可以向当地公安机关报案，或者向人民法院提起诉讼，要求男方承担扶养义务，并可能追究其法律责任。
- 对于男方：应认识到自己的扶养义务，积极履行对智障女方的扶养责任，包括提供生活来源、给予必要的照料等。若因特殊原因无法直接履行扶养义务，也应通过合法途径（如委托他人照顾、支付抚养费等）来确保女方的正常生活。
法律后果：
- 若男方的行为构成遗弃家庭成员的违法行为，可能面临民事赔偿、行政处罚等法律后果。
- 若男方的行为构成遗弃罪，则可能面临刑事处罚，包括有期徒刑、拘役或者管制等。
如有更多细节或疑问，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。