结论：关于结婚三年多离婚时彩礼的退还问题，一般情况下彩礼可能不需要退还，但具体还需结合实际情况判断。若法院认定存在需要退还的情形，退还金额也并非固定，而是会综合考虑多种因素后确定，无法直接给出具体的退还数额。
分析说明：
彩礼退还的一般原则：
- 根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条的规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。
- 在您的情况下，双方已经办理了结婚登记手续，并且共同生活了三年多，因此，一般情况下彩礼是不需要退还的。
可能退还彩礼的特殊情形：
- 尽管一般情况下彩礼不需要退还，但如果存在特殊情形，如婚前给付彩礼导致给付人生活困难，或者双方虽然办理了结婚登记手续但确未共同生活（此点在您的情况下不太适用，因为您们已经共同生活了三年多），法院可能会考虑退还部分或全部彩礼。
- 另外，如果双方能够就彩礼的退还达成一致意见，那么也可以按照双方的约定来处理。
退还金额的确定：
- 如果法院认定存在需要退还彩礼的情形，那么退还金额并不是固定的十八万或者扣除三金后的十四万。
- 法院会综合考虑多种因素，如双方的经济状况、共同生活的时间、彩礼的使用情况（如您提到的四万用于购买三金）、双方对家庭的贡献等，来酌情确定退还的金额。
- 计算公式（此公式仅为示意，实际退还金额需由法院综合判断）：退还金额 = 彩礼总额 × （1 - 共同生活时间系数 × 家庭贡献系数 × 彩礼使用情况系数等）。其中，各个系数均需由法院根据实际情况进行判定，无法直接给出具体数值。
行动建议：
- 如果您和对方能够就彩礼的退还问题达成一致意见，那么可以签订一份书面协议，明确退还的金额、方式和时间等。
- 如果无法达成一致意见，您可以考虑向法院提起诉讼，由法院根据实际情况来判决彩礼的退还问题。
- 在处理彩礼退还问题时，建议您保留好相关的证据，如彩礼的给付凭证、购买三金的发票等，以便在需要时提供给法院作为参考。
最后，每个案件都有其独特性，彩礼的退还问题也不例外。因此，在处理此类问题时，建议您咨询专业律师（即我本人，许昕律师，专注于刑事辩护、婚姻家庭等领域）的意见，以便更好地维护自己的合法权益。如果您有任何疑问或需要进一步的帮助，请随时向我咨询。