针对您提出的“彩礼退婚男方没有要直接起诉怎么办”的问题，以下是一个详细且清晰的解答流程，旨在帮助您理解并应对这一情况：

一、明确法律权益

在退婚且女方拒绝退还彩礼的情况下，男方完全有权通过法律途径来维护自己的权益。法律明确规定了彩礼在特定条件下的返还义务，因此，您可以通过起诉来要求女方退还彩礼。

二、确定管辖法院

起诉的第一步是确定哪个法院有管辖权。通常，您需要到女方（被告）的住所地，即户籍所在地的基层人民法院提起诉讼。如果女方的住所地与其经常居住地不一致，那么应由其经常居住地的基层人民法院管辖。经常居住地指的是公民离开住所地至起诉时已连续居住一年以上的地方，但住院就医的地方除外。

三、准备诉讼材料

为了成功起诉，您需要准备以下诉讼材料：

1. 起诉状：

   • 写明原告（男方）和被告（女方）的基本信息，包括姓名、性别、年龄、民族、职业、工作单位、住所、联系方式等。
   • 明确诉讼请求，即要求女方返还彩礼的具体金额。
   • 详细阐述事实和理由，包括订婚时间、支付彩礼的具体情况、退婚的原因以及女方拒绝返还彩礼的事实。

2. 证据材料：

   • 彩礼支付凭证：如银行转账记录、微信或支付宝转账截图、收条等，这些都能证明您确实支付了彩礼及其具体金额。
   • 证人证言：如果彩礼交付时有证人在场，可以请其出具书面证言或申请其在开庭时出庭作证。
   • 沟通记录：如微信聊天记录、短信、通话录音等，这些记录能证明女方拒绝退还彩礼的事实。

四、立案与缴费

将准备好的起诉状和证据材料一式多份（根据被告人数确定，并额外准备一份给法院）提交至管辖法院的立案庭。立案庭会对材料进行审查，如果符合立案条件，会予以受理，并出具立案通知书。同时，您需要按照法院的要求缴纳诉讼费用。

五、参加庭审

收到法院的开庭传票后，您需要按照传票上的时间和地点参加庭审。在庭审过程中，您需要：

1. 庭前准备：再次熟悉案件事实和证据，准备好辩论意见。
2. 庭审过程：
   • 法庭调查阶段：如实回答法官的询问，并按要求出示证据。
   • 法庭辩论阶段：围绕彩礼应当返还的法律依据和事实理由发表辩论意见。
   • 最后陈述阶段：作最后发言，强调自己的诉讼请求和理由。

六、等待判决与执行

庭审结束后，法院会根据双方的陈述和证据进行审理，并在规定的审限内下达判决书。如果女方在判决书规定的履行期限内未履行返还彩礼的义务，您可以在判决书生效后向作出判决的法院申请强制执行。

七、寻求专业帮助

在整个起诉过程中，我强烈建议您咨询专业律师。律师不仅能提供法律上的指导，还能帮助您评估案件的胜诉可能性，确保诉讼程序的顺利进行和您自身合法权益的有效维护。

八、注意事项

• 不同地区的法院在具体操作流程和证据要求上可能存在差异，因此在实际操作中需灵活应对。
• 保留好所有与彩礼相关的证据材料，这是胜诉的关键。
• 保持冷静和理性，遵循法律程序，避免采取过激行为。

综上所述，如果女方在退婚后拒绝退还彩礼，您完全有权通过法律途径来维护自己的权益。按照上述步骤操作，并寻求专业律师的帮助，您有望成功追回彩礼。