男方可以通过法律途径争取孩子的抚养权或要求女方将孩子带回共同生活，但能否成功要回孩子需结合具体情况判断。以下是具体分析：
1. 哺乳期孩子的抚养权归属原则
根据《民法典》第1084条及司法解释，离婚时，不满两周岁的子女原则上由母亲直接抚养，但母亲有下列情形之一，父亲请求直接抚养的，法院应予支持：
- 母亲患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活；
- 母亲有抚养条件但不尽抚养义务（如长期将孩子交由他人照顾、拒绝履行抚养责任）；
- 其他原因（如母亲存在虐待、遗弃子女，或母亲因犯罪被羁押等无法履行抚养义务的情形）。
若女方不存在上述情形，男方直接争取抚养权的难度较大，但可通过其他方式主张权利。
2. 男方可以主张的诉求方向
（1）要求女方将孩子带回共同生活（非离婚诉讼中）
若双方尚未离婚，男方可以“同居关系子女抚养纠纷”或“婚姻家庭纠纷”为由起诉，要求女方将孩子带回共同生活。法院会从子女利益最大化角度出发，综合考虑以下因素：
- 双方的经济能力、居住条件、教育背景等；
- 孩子的成长环境（如是否已形成稳定的生活、教育模式）；
- 父母与孩子的情感联系（如谁长期照顾孩子）；
- 一方是否存在不利于子女成长的情形（如家暴、酗酒、赌博等）。
若男方能证明女方擅自将孩子带回娘家且拒绝其探视，可能被认定为“未尽抚养义务”，法院可能支持男方要求女方带回孩子的诉求。
（2）离婚诉讼中争取抚养权或探视权
若女方已起诉离婚，男方可在诉讼中主张：
- 抚养权：若孩子已满两周岁，法院会综合双方条件判决；若未满两周岁，男方需证明女方存在法定不适宜抚养的情形（如上述第1点）。
- 探视权：即使抚养权归女方，男方仍有权要求定期探视孩子。若女方拒绝探视，男方可申请法院强制执行（如通过社区、派出所协助监督探视）。
3. 男方需准备的证据
为提高胜诉率，男方应收集以下证据：
- 自身抚养条件：如收入证明、房产证明、稳定的工作证明、父母愿意协助抚养的声明等；
- 女方不适宜抚养的证据：如女方长期离家、拒绝履行抚养义务的记录（聊天记录、证人证言）、女方存在不良嗜好或疾病的医疗证明等；
- 孩子与男方情感联系的证据：如共同生活的照片、视频、学校或幼儿园的接送记录等。
4. 建议行动步骤
- 与女方协商：尝试通过沟通解决，避免矛盾激化；
- 收集证据：按上述方向整理相关材料；
- 咨询律师：根据具体情况制定诉讼策略（如是否先起诉要求带回孩子，或在离婚诉讼中一并主张）；
- 提起诉讼：若协商无果，及时向法院起诉。
总结：男方能否要回孩子需结合女方行为、孩子年龄及双方条件综合判断。若女方存在法定不适宜抚养的情形，或男方能证明自身抚养更有利于孩子成长，法院可能支持其诉求。建议男方尽快收集证据并咨询专业律师，制定针对性方案。