可以起诉女方，要求其履行抚养义务或支付抚养费。以下从不同角度为你详细分析：
法律背景与依据
根据《中华人民共和国民法典》第一千零六十七条规定，父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利。在你们的情况中，虽然两个孩子已经判给男方，但女方作为孩子的母亲，依然负有法定的抚养义务。如果女方不管孩子，不履行抚养义务，男方作为孩子的直接抚养人，有权代表孩子向法院提起诉讼，要求女方支付抚养费。
起诉的具体流程与要点
收集证据：
- 男方需要收集能够证明女方未履行抚养义务的证据，如女方未支付抚养费的记录、孩子的生活费用支出凭证、女方与孩子的沟通记录（如短信、微信等，显示女方对孩子生活不闻不问）等。
- 如果可能，还可以收集邻居、亲友等目击者的证言，以证明女方长期未关心、照顾孩子。
撰写起诉状：
- 起诉状应明确列明原告（孩子，由男方作为法定代理人代为诉讼）、被告（女方）的基本信息。
- 详细陈述事实与理由，包括女方未履行抚养义务的具体情况、对孩子的成长造成的影响等。
- 提出明确的诉讼请求，如要求女方支付拖欠的抚养费、今后定期支付抚养费等。
提交法院并等待审理：
- 将起诉状及相关证据提交至有管辖权的法院（通常是孩子户籍所在地或经常居住地的法院）。
- 法院受理案件后，会安排开庭审理。在审理过程中，男方需要出庭陈述事实、提供证据，并接受法院的询问和对方的质证。
判决与执行：
- 如果法院认定女方确实未履行抚养义务，会依法作出判决，要求女方支付拖欠的抚养费及今后定期支付抚养费。
- 如果女方不履行判决，男方可以申请法院强制执行，如冻结女方的银行账户、查封其财产等。
可能的法律后果与建议
- 法律后果：如果女方被法院判决支付抚养费但仍不履行，除了面临强制执行外，还可能被法院列入失信被执行人名单，对其信用记录造成严重影响。此外，如果女方长期不履行抚养义务，还可能构成遗弃罪，面临刑事处罚（但这种情况较为罕见，需要达到一定的严重程度）。
- 建议：在起诉前，男方可以尝试与女方进行沟通协商，看是否能够达成和解协议，要求女方履行抚养义务或支付抚养费。如果协商无果，再考虑通过法律途径解决。同时，男方在抚养孩子的过程中，也应尽量保留好相关证据，以便在需要时能够证明自己的主张。
如果你还有其他疑问或需要进一步的法律帮助，请随时向我咨询。