结论：没有领结婚证但有两个小孩，女方离开是可以被起诉的，不过起诉的事由和结果会因具体情况有所不同，下面分情况为你详细阐述。

1. 若以同居关系析产或子女抚养纠纷为由起诉

• 法律依据：根据相关法律规定，未办理结婚登记而以夫妻名义共同生活的男女，起诉到人民法院要求离婚的，应当区别对待。其中，1994年2月1日民政部《婚姻登记管理条例》公布实施以后，男女双方符合结婚实质要件的，人民法院应当告知其在案件受理前补办结婚登记；未补办结婚登记的，按解除同居关系处理。但对于同居期间的财产分割和子女抚养问题，法院是会受理并处理的。
• 具体分析：在这种情况下，虽然双方没有领取结婚证，不存在法律意义上的婚姻关系，但同居期间可能会有共同财产，比如共同购置的房产、车辆、存款等，以及共同生育的子女。如果女方离开，男方可以就同居期间的财产分割和子女抚养问题向法院提起诉讼。法院会根据财产的具体情况，按照照顾子女、女方和无过错方的原则进行判决；对于子女抚养问题，会从有利于子女身心健康，保障子女的合法权益出发，结合父母双方的抚养能力和抚养条件等具体情况妥善解决。

2. 若以女方遗弃家庭成员为由起诉（需满足一定条件）

• 法律依据：《民法典》规定，禁止家庭成员间的虐待和遗弃。家庭成员之间负有扶养、抚养、赡养的义务。有负担能力而拒不履行扶养义务，就构成遗弃。
• 具体分析：如果女方离开后，对年幼的子女不履行抚养义务，情节恶劣的，可能构成遗弃罪。此时，男方或其他监护人可以向公安机关报案，由公安机关立案侦查，追究女方的刑事责任。不过，构成遗弃罪需要满足一定的条件，比如女方有抚养能力而拒绝抚养，且情节达到恶劣的程度，如导致子女重伤、死亡等严重后果，或者长期遗弃使子女生活陷入困境等。

3. 若涉及彩礼返还问题（若有彩礼情况）

• 法律依据：根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定，应当以双方离婚为条件。
• 具体分析：如果双方在同居期间男方给付了女方彩礼，且双方未办理结婚登记手续，现在女方离开，男方可以要求女方返还彩礼。法院会根据双方共同生活的时间、是否生育子女、彩礼数额、当地风俗习惯等因素，确定是否返还以及返还的数额。

如果你有进一步的疑问，比如具体的财产情况、子女抚养细节等，都可以直接向我咨询，我会为你提供更详细的解答。