可以起诉男方，但具体需根据实际情况和法律条款来判定责任与处理方式。以下是从不同角度为您进行的分析：
一、法律角度
抚养义务：
- 根据《中华人民共和国民法典》的相关规定，父母对未成年子女负有抚养、教育和保护的义务。这种义务是法定的，不因父母是否离婚或分居而免除。
- 如果男方作为父亲，未履行对子女的抚养义务，导致子女第三次出现无人照顾的情况，这明显违反了法律规定。
起诉可能性：
- 您作为子女的监护人或法定代理人，有权代表子女向法院提起诉讼，要求男方履行抚养义务。
- 法院在受理此类案件后，会依法进行审理，并根据实际情况判决男方承担相应的抚养责任。
二、实际操作角度
收集证据：
- 在起诉前，您需要收集相关证据，如男方未履行抚养义务的具体事实、子女无人照顾的证据等。
- 这些证据将有助于法院了解案件的真实情况，并作出公正的判决。
起诉流程：
- 您需要向有管辖权的法院提交起诉状，并附上相关证据。
- 法院在受理案件后，会安排开庭审理，并依法作出判决。
执行判决：
- 如果法院判决男方履行抚养义务，但男方仍不履行，您可以向法院申请强制执行。
- 法院将采取必要的措施，确保判决得到执行，以保障子女的合法权益。
三、其他考虑因素
调解与协商：
- 在起诉前，您可以尝试与男方进行调解或协商，看是否能够达成抚养协议。
- 如果调解或协商成功，可以避免诉讼带来的时间和精力消耗。
子女意愿：
- 如果子女已经具备一定的表达能力和判断能力，法院在审理案件时可能会考虑子女的意愿。
- 因此，在起诉前或诉讼过程中，您可以与子女进行沟通，了解他们的想法和需求。
建议：
- 在决定起诉前，建议您先与男方进行沟通，尝试通过调解或协商解决问题。
- 如果沟通无果，您可以收集相关证据，并向有管辖权的法院提起诉讼。
- 在诉讼过程中，您可以寻求专业律师的帮助，以确保您的权益得到充分保障。
如果您在此过程中有任何疑问或需要进一步的法律帮助，请随时向我咨询。