男女双方感情破裂，男方向女方要回彩礼五金是否合法，需根据具体情况判断。以下是从不同角度进行的分析：
一、法律规定的返还彩礼情形
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
双方未办理结婚登记手续：若男女双方仅举行了婚礼或订婚仪式，但未在民政部门办理正式的结婚登记手续，男方有权要求女方返还彩礼及五金。
双方办理结婚登记手续但确未共同生活：即使办理了结婚登记，但如果双方并未实际共同生活，如婚后即分居或长期异地生活等，男方也有权要求返还彩礼及五金。
婚前给付并导致给付人生活困难：若因支付高额彩礼及五金导致男方家庭陷入经济困境，且这种困境是婚前给付直接造成的，男方同样可以要求返还。但需注意，适用此项规定应当以双方离婚为条件。
二、已登记结婚且共同生活的情况
如果夫妻双方已经登记结婚，并且共同生活了一段时间，那么彩礼及五金通常被视为对女方的赠与，一般不予返还。除非存在上述第三种情况，即婚前给付导致男方生活困难，且该困难与彩礼及五金给付有直接的因果关系。
三、共同生活时间较短的情况
对于虽然办理了结婚登记，但实际共同生活时间较短的夫妻，法院可能会考虑彩礼及五金的返还问题。具体是否返还以及返还的比例，会结合双方的过错程度、经济状况、彩礼及五金数额及用途等因素综合判断。
四、离婚原因的影响
离婚的原因并非决定是否返还彩礼及五金的关键因素。无论是哪一方提出离婚，只要不符合法律规定的返还条件，彩礼及五金一般不予返还。
五、实际操作建议
证据收集：在涉及彩礼及五金返还的纠纷中，证据的收集和保存至关重要。男方应提供证据证明彩礼及五金的给付事实、数额以及因给付导致的经济困难等情况；女方则应提供证据证明彩礼及五金的使用情况、双方共同生活的事实等。
协商解决：在处理此类纠纷时，双方应首先尝试通过协商的方式解决争议。这不仅可以节省诉讼成本和时间，还有助于维护双方的关系和尊严。
法律途径：如果协商无果，男方可以通过法律途径来维护自己的权益。在提起诉讼前，建议咨询专业律师，了解具体的法律程序和可能的结果。
总结来说，男女双方感情破裂时，男方向女方要回彩礼五金是否合法，取决于双方是否办理结婚登记、是否共同生活以及婚前给付是否导致男方生活困难等因素。在处理此类纠纷时，建议双方保持冷静，通过协商或法律途径来解决问题。如果你有进一步的法律问题或需要更具体的法律建议，可以直接向我咨询。