结论前置：结婚三年后女方起诉离婚，男方能否要回彩礼，需根据具体情况及法律规定来判断。一般来说，若双方已共同生活较长时间且彩礼已用于共同开支，男方较难要回彩礼；但在特定情况下，如未共同生活或给付彩礼导致生活困难等，男方有可能要回部分或全部彩礼。
详细分析
一、法律规定
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
双方未办理结婚登记手续：若双方未正式登记结婚，则彩礼的给付目的未实现，给付方有权要求退还彩礼。不过，在您描述的情境中，双方已经结婚三年，因此这一情形不适用。
双方办理结婚登记手续但确未共同生活：即使双方已登记结婚，但若实际上并未共同生活（如因长期异地工作等原因），则在离婚时，给付方可以请求返还彩礼。如果男方能证明在这三年期间双方实际上并未共同生活，那么他有权请求返还彩礼，并有可能得到法院的支持。
婚前给付彩礼并导致给付人生活困难：此处的“生活困难”指的是给付彩礼后，个人财产及离婚分得的财产无法维持当地基本生活水平。如果男方能证明婚前给付彩礼给其家庭带来了沉重的经济负担，导致其基本生活难以为继，并且有相关证据（如债务记录、低收入证明等）支持这一点，那么在离婚时，男方可以要求返还彩礼，法院会根据具体情况和证据来裁决是否支持其请求。
二、考量因素
在判断彩礼是否应返还时，法院会综合考虑以下多种因素：
彩礼的数额：彩礼的金额大小是法院判断的一个重要参考点。高额彩礼可能更易于被视为需要返还的对象。
双方共同生活的时间长短：共同生活时间越长，彩礼被视为对夫妻双方的赠与的可能性越大，返还的可能性则越小。在您描述的情境中，双方已经共同生活三年，这通常意味着彩礼被视为对夫妻双方的赠与的可能性较大。
彩礼的使用情况：如果彩礼已被用于夫妻共同生活，如购买家庭用品、支付生活费用等，那么在离婚时，这可能会影响彩礼的退还数额。如果彩礼已经用于共同生活支出，那么男方要求返还的请求可能会受到限制。
双方的过错情况：在婚姻关系中的过错行为也可能成为法院判断彩礼返还时的一个考量因素。例如，如果女方存在重大过错行为导致离婚，那么法院在判断彩礼返还时可能会倾向于支持男方的请求。
三、具体情况分析
已办理结婚登记且共同生活：在大多数情况下，如果双方已经办理结婚登记并且共同生活了三年或更长时间，彩礼通常被视为对夫妻双方的赠与，离婚时不予返还。这是基于彩礼已经转化为夫妻共同财产或用于家庭日常开支的考虑。
存在特殊情形：然而，即使双方已结婚并共同生活多年，如果存在上述法律规定的特殊情形（如未共同生活、婚前给付致生活困难等），男方仍然有可能要求返还部分或全部彩礼。此时，法院将结合具体情况及法律规定进行综合判断。例如，如果男方能证明双方实际上并未共同生活或婚前给付彩礼导致其生活困难，并且有相关证据支持其主张，那么法院可能会支持其返还彩礼的请求。
总结与建议
综上所述，结婚三年后女方起诉离婚时男方是否能要回彩礼钱，并非一概而论，而是需要根据具体的法律规定和实际情况来判断。如果您面临这样的问题，我建议您首先收集相关证据（如彩礼给付凭证、共同生活证明、生活困难证明等），然后向我详细咨询。我将根据您的具体情况和法律规定，为您提供专业的法律意见和帮助。