结论：婚前双方各自的财产归各自所有这一约定，并不影响男方在符合法定条件时起诉女方归还彩礼。但能否成功要求归还，需根据具体情况判断。

分析说明：

1. 彩礼的性质与归还条件：

   • 彩礼通常被视为一种附条件的赠与，即以结婚为目的的赠与。如果结婚的目的未能实现（如未办理结婚登记、办理结婚登记但未共同生活、婚前给付并导致给付人生活困难等），那么赠与的条件未达成，男方有权要求女方归还彩礼。
   • 根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条的规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定，应当以双方离婚为条件。

2. 婚前财产约定的影响：

   • 婚前双方各自的财产归各自所有，这是双方对婚前财产的一种约定，它主要规范的是婚前财产的归属问题，并不涉及彩礼的归还。
   • 彩礼的归还问题，主要依据的是上述提到的法定条件，而不是婚前财产的约定。因此，即使双方有婚前财产归各自所有的约定，也不影响男方在符合法定条件时要求女方归还彩礼。

3. 实际操作中的考虑：

   • 在实际操作中，男方需要提供证据证明彩礼的给付情况，以及符合上述法定归还条件的情况。
   • 如果双方已经办理了结婚登记并共同生活，那么男方要求归还彩礼的难度会相对较大，因为此时彩礼的给付目的已经部分实现。
   • 如果婚前给付彩礼导致男方生活困难，那么男方在离婚时有权要求女方归还彩礼，但需要提供充分的证据证明生活困难的情况。

行动建议：

• 如果男方认为符合彩礼归还的法定条件，可以收集相关证据（如彩礼给付的凭证、双方未共同生活的证明、生活困难的证明等），并向法院提起诉讼要求女方归还彩礼。
• 在诉讼过程中，男方应积极配合法院的调查和审理工作，提供真实、准确的证据和信息。
• 如果对诉讼过程或法律条款有疑问，可以直接向我咨询，我会根据具体情况提供专业的法律建议和帮助。