结论：在女方起诉离婚的情况下，男方能否要求退还彩礼以及能退多少，需根据具体情况来判断，无法直接给出一个确定的数额，但可以结合法律规定和实际情况进行分析。
分析如下：
一、法律规定
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条：“当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
- 双方未办理结婚登记手续；
- 双方办理结婚登记手续但确未共同生活；
- 婚前给付并导致给付人生活困难。
在您描述的情况中，双方已经办理了结婚登记手续，并且共同生活了三年多，因此，前两种情形显然不适用。对于第三种情形，即“婚前给付并导致给付人生活困难”，需要男方提供充分的证据来证明其因给付彩礼而导致了生活困难，且这种困难是持续性的，而非短暂的或轻微的。
二、实际情况分析
彩礼的使用情况：
- 您提到彩礼中的四万用于购买了金子和日常生活。这部分彩礼已经转化为具体的物品或用于共同生活，因此在离婚时，这部分彩礼通常不会被要求全额退还。
- 剩余的彩礼部分，如果男方能够证明其因给付彩礼而导致了生活困难，并且这种困难是持续性的，那么法院可能会考虑退还部分或全部剩余彩礼。
共同生活的时间：
- 双方已经共同生活了三年多，这期间彩礼可能已经用于共同生活的开支或转化为共同财产。因此，在考虑退还彩礼时，法院也会考虑这一因素。
双方的经济状况：
- 法院在判决时也会考虑双方的经济状况。如果男方经济状况较好，而女方经济状况较差，法院可能会倾向于少退或不退彩礼。
三、可能的法律后果
如果法院认定需要退还彩礼：
- 退还的数额将根据彩礼的实际使用情况、共同生活的时间、双方的经济状况以及男方因给付彩礼而导致的困难程度等因素来综合判断。
- 退还的方式可能是一次性退还，也可能是分期退还，具体取决于法院的判决和双方的协商情况。
如果法院认定不需要退还彩礼：
- 男方将无法要求女方退还彩礼，这部分彩礼将视为女方在婚姻期间的个人财产或共同财产的一部分。
建议：
- 如果您作为男方希望要求退还彩礼，建议您收集相关证据来证明您因给付彩礼而导致了生活困难，并且这种困难是持续性的。
- 同时，您也可以考虑与女方进行协商，看是否能够达成一个双方都能接受的退还协议。
- 如果协商不成，您可以向法院提起诉讼，由法院根据具体情况来判决是否需要退还彩礼以及退还的数额。
示例计算（假设法院认定需要退还部分彩礼）：
假设剩余彩礼为14万（18万-4万），法院根据双方的经济状况、共同生活时间等因素，判决女方退还男方彩礼的30%，即：
\(退还数额 = 14万 \times 30\% = 4.2万\)
因此，在这种情况下，男方可能获得4.2万的彩礼退还。但请注意，这只是一个假设性的计算，实际退还数额将由法院根据具体情况来判决。
如果您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询。