结论：男方在一定情形下可以直接要求女方退还彩礼并起诉，但能否成功需根据具体情况和法律规定来判断。
法律依据与具体情形
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条，以下三种情形下，当事人请求返还按照习俗给付的彩礼，人民法院应当予以支持：
双方未办理结婚登记手续：
- 如果男女双方未办理结婚登记手续，男方有权要求返还彩礼。这是因为双方并未形成法律上的婚姻关系，彩礼的给付目的未实现。
- 举例：小张和小李按照习俗举办了婚礼，但未进行结婚登记。后因感情不和分开，小张起诉要求小李退还彩礼，法院一般会支持小张的请求。
双方办理结婚登记手续但确未共同生活：
- 如果双方虽办理结婚登记但实际并未共同生活，男方在离婚时可以要求返还彩礼。这是因为彩礼的给付是以共同生活为目的的，若未共同生活，则彩礼的给付目的未实现。
- 举例：小王和小赵登记结婚后一直分居，未共同生活。后来决定离婚，小王有权要求小赵返还彩礼。法院会考虑双方共同生活的时间长短、彩礼的数额和用途等因素，酌情确定返还比例。
婚前给付彩礼并导致给付人生活困难：
- 如果男方因婚前给付彩礼而导致生活困难，即依靠个人财产和离婚时分得的财产无法维持当地基本生活水平，男方在离婚时可以要求女方返还彩礼。
- 举例：老陈为儿子娶媳妇给付大量彩礼导致家庭负债累累，生活陷入困境。后儿子离婚，老陈有权起诉女方要求返还彩礼。法院对生活困难的认定会进行严格审查，并结合当地实际生活水平和男方的经济状况等综合判断。
注意事项
- 离婚为条件：第二和第三种情形必须以双方离婚为条件。如果不离婚，男方单纯要求退还彩礼，法律一般不予支持。
- 彩礼的实际使用情况：彩礼的返还还会受到其他因素的影响，如彩礼的实际使用情况、嫁妆情况、双方过错程度等。法院在判决时会综合考虑这些因素，以确保裁决的公正性。
- 证据准备：男方在起诉要求退还彩礼时，应充分准备相关证据，如彩礼支付凭证、未办理结婚登记的证据、生活困难的证明等，以支持自己的主张。
建议
在处理此类纠纷时，建议双方先尝试协商解决。协商不成时，再考虑通过法律途径解决。同时，男方应充分了解法律规定，并综合考虑各种因素，以确保自己的权益得到妥善保护。如果女方已经撤诉，但男方认为符合上述法定情形之一，仍然可以直接向法院起诉要求女方退还彩礼。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。