结论：男方起诉离婚时，彩礼及“三金”是否需要退还，取决于双方的具体婚姻状况、彩礼及“三金”的使用情况以及是否导致给付人生活困难等多个因素。以下是对此问题的详细分析：
一、彩礼及“三金”不予退还的一般情况
- 已办理结婚登记并共同生活：
- 若男女双方已经依法办理了结婚登记手续，并且实际上共同生活了，那么彩礼及“三金”通常被视为男方对女方的赠与，其性质已经转化为夫妻共同财产或女方的个人财产。在这种情况下，离婚时应按照夫妻共同财产分割或个人财产处理的原则进行，彩礼及“三金”原则上不予退还。
二、彩礼及“三金”应当退还的特殊情形
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，以下三种情形下，当事人请求返还彩礼及“三金”的，人民法院应予支持：
双方未办理结婚登记手续：
- 若男女双方仅按民间习俗举办婚礼而未进行结婚登记，未形成法律上的婚姻关系，则彩礼及“三金”的赠与目的未实现。此时，男方有权要求女方退还彩礼及“三金”。
双方办理结婚登记手续但确未共同生活：
- “确未共同生活”指的是虽然办理了结婚登记，但实际上并未像正常夫妻一样共同生活。例如，双方婚后未共同居住、无共同生活开销等。在此情况下，即使已办理结婚登记，彩礼及“三金”也应予退还。需注意的是，主张退还彩礼及“三金”需以离婚为前提。
婚前给付彩礼及“三金”并导致给付人生活困难：
- “婚前给付”指彩礼及“三金”是在结婚登记前给付的。“导致给付人生活困难”则是指因给付彩礼及“三金”而导致给付方生活水平明显下降，难以维持当地基本生活水平。若男方因此陷入困境，离婚时可要求女方返还彩礼及“三金”。同样，这一规定也需以双方离婚为条件。
三、司法实践中的考量因素
在实际操作中，法院在判断彩礼及“三金”是否应退还及退还的具体数额时，会综合考虑多种因素：
- 共同生活时间长短：若双方已共同生活一段时间，彩礼及“三金”可能已用于夫妻共同生活，因此可能影响彩礼及“三金”的全额返还。
- 彩礼及“三金”的数额和用途：彩礼及“三金”的数额大小及其在婚后的具体用途，也是法院判断的重要依据。例如，如果“三金”已经转化为双方的共同财产或已经消耗，那么在退还时应当扣除这些已使用或转化的部分。
- 双方的经济状况：法院会考虑双方的经济实力，以确保判决的公平性和合理性。例如，如果女方经济困难，法院可能会酌情减少退还的数额。
四、具体建议
- 收集证据：如果男方认为彩礼及“三金”应当退还，应收集相关证据，如给付彩礼及“三金”的凭证、双方未共同生活的证据、给付彩礼及“三金”导致生活困难的证据等。
- 协商解决：在起诉前，双方可以尝试协商解决彩礼及“三金”的退还问题。如果协商成功，可以签订书面协议并履行，以避免不必要的法律纠纷。
- 寻求法律帮助：如果协商无果或男方对法律程序不熟悉，可以向我咨询，我会根据具体情况提供专业的法律建议和帮助。
总之，彩礼及“三金”是否需要退还并不是一个简单的“是”或“否”的问题，而是需要根据双方的具体情况、法律规定以及法院的综合判断来确定。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。