结论：男方将孩子带回家后不管不顾直接离开的行为，是否构成违法，需结合具体情况判断，可能涉及遗弃罪或违反监护职责，也可能仅属于道德调整范畴。以下从不同角度详细分析：
一、可能构成遗弃罪的情况
法律背景：
- 根据《中华人民共和国刑法》第二百六十一条的规定，遗弃罪是指对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为。
具体分析：
- 如果男方作为孩子的法定监护人，明知孩子没有独立生活能力，却故意将其留在家中无人照料，且情节恶劣（如长时间无人看管、孩子因此受到伤害等），则可能构成遗弃罪。
- 情节恶劣的认定通常包括：由于遗弃致被害人重伤、死亡；被害人因被遗弃而生活无着，流离失所，被迫沿街乞讨；因遗弃而使被害人走投无路被迫自杀的；行为人屡经教育，拒绝改正而使被害人的生活陷于危难境地；遗弃手段十分恶劣如在遗弃中又有打骂、虐待行为的等。
法律后果：
- 如果构成遗弃罪，男方可能面临五年以下有期徒刑、拘役或者管制的刑事处罚。
二、可能仅违反监护职责的情况
法律背景：
- 根据《中华人民共和国民法典》的相关规定，父母对未成年子女负有抚养、教育和保护的义务。
具体分析：
- 如果男方的行为尚未达到遗弃罪的严重程度，但确实未尽到监护职责，如短暂离开未安排好孩子的照料等，则可能仅构成违反监护职责的行为。
- 在这种情况下，虽然男方可能不会面临刑事处罚，但其他监护人或相关机构（如儿童福利机构）可以介入，要求男方履行监护职责或采取其他必要措施保护孩子的权益。
三、道德调整范畴的情况
- 具体分析：
- 如果男方的行为并未对孩子造成实际伤害，且情节轻微，如因紧急事务短暂离开并很快返回等，则可能仅属于道德调整范畴，不构成法律上的违法行为。
- 然而，即使在这种情况下，男方的行为也仍然是不负责任的，可能受到社会舆论的谴责。
四、建议与措施
与男方沟通：
- 首先，建议尝试与男方进行沟通，了解其离开的原因和孩子的照料情况，要求其尽快返回或安排好孩子的照料。
寻求其他监护人或相关机构的帮助：
- 如果男方无法联系或拒绝履行监护职责，可以寻求其他监护人（如孩子的母亲、祖父母等）或相关机构（如儿童福利机构、居委会等）的帮助，共同保护孩子的权益。
报警或提起诉讼：
- 如果男方的行为涉嫌遗弃罪或严重违反监护职责，且对孩子造成了实际伤害或可能造成严重后果，建议立即报警或向法院提起诉讼，要求追究男方的法律责任。
最后，每个家庭的情况都是独特的，因此在处理此类问题时，需要根据具体情况进行具体分析。如果你有任何进一步的疑问或需要更具体的法律建议，请随时向我咨询。