可以起诉男方，但具体起诉方向和结果需根据实际情况判断。以下从不同角度为您详细分析：
一、从抚养义务角度起诉
法律依据：
- 根据《中华人民共和国民法典》第一千零七十一条规定：“非婚生子女享有与婚生子女同等的权利，任何组织或者个人不得加以危害和歧视。不直接抚养非婚生子女的生父或者生母，应当负担未成年子女或者不能独立生活的成年子女的抚养费。”
分析：
- 如果男方是出轨所生小孩的生父，且未直接抚养该小孩，那么男方有义务支付抚养费。若男方不履行抚养义务，您可以作为小孩的法定代理人（如母亲或其他监护人）代表小孩起诉男方，要求其支付抚养费。
二、从离婚及损害赔偿角度起诉（如涉及婚姻关系）
法律依据：
- 根据《中华人民共和国民法典》第一千零七十九条和第一千零九十一条规定，如果男方出轨行为导致夫妻感情破裂，您可以起诉离婚，并在离婚诉讼中主张男方存在过错，要求其承担损害赔偿责任。
分析：
- 若您与男方是夫妻关系，且男方的出轨行为对婚姻关系造成了严重破坏，导致夫妻感情破裂，您可以在起诉离婚的同时，要求男方承担因出轨行为给您造成的精神损害赔偿等。但需要注意的是，损害赔偿的数额和范围需根据具体情况和法院的判决来确定。
三、从其他法律责任角度考虑
- 如果男方的出轨行为还涉及其他违法行为（如重婚等），您还可以根据相关法律规定追究其法律责任。但这种情况需要具体证据支持，且涉及的法律条款和责任形式会有所不同。
四、实际操作建议
收集证据：
- 在起诉前，您需要收集相关证据来证明男方是出轨所生小孩的生父，以及男方未履行抚养义务或存在其他过错行为。证据可以包括亲子鉴定报告、聊天记录、证人证言等。
咨询专业律师：
- 由于法律问题具有复杂性和专业性，建议您在起诉前咨询专业律师，以便更准确地了解您的权利和义务，以及起诉的可能结果和风险。当然，您也可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。
准备起诉材料：
- 根据律师的建议和您的实际情况，准备起诉材料，包括起诉状、证据清单等。确保起诉材料的内容真实、准确、完整。