结论：男方在分手后起诉女方要回彩礼钱，是否合法需视具体情况而定，但通常情况下，若双方未办理结婚登记手续，男方有权要求返还彩礼。不过，具体返还的数额和方式，需结合双方实际情况及法律规定综合判断。
一、彩礼返还的法律依据
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条的规定：“当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定，应当以双方离婚为条件。”
在您所描述的情况中，双方未办理结婚登记手续，且已分手，因此男方有权依据上述法律规定，要求女方返还彩礼。
二、彩礼返还的数额与方式
全额返还：若双方未共同生活，且彩礼未用于共同生活支出，男方通常有权要求女方全额返还彩礼。
部分返还：若双方虽未办理结婚登记，但已共同生活一段时间，且彩礼已部分用于共同生活支出（如生活费用、子女抚养费用等），则男方要求返还的彩礼数额可能会相应减少。法院在判决时，会综合考虑双方共同生活的时间、彩礼的数额、彩礼的使用情况、双方的经济状况以及当地的风俗习惯等因素，来确定女方应返还的彩礼数额。
不返还：在极少数情况下，若女方能够证明彩礼已全部用于双方共同生活，且男方因此并未遭受经济损失，法院可能会判决女方不返还彩礼。但这种情况较为罕见，且需要女方提供充分的证据予以证明。
三、时间因素对彩礼返还的影响
您提到双方已分手三年时间，这一时间因素可能会对彩礼返还的数额产生一定影响。但具体影响程度，需结合双方共同生活的时间、彩礼的使用情况以及当地法院的司法实践等因素综合判断。一般来说，若双方分手时间较长，且彩礼已部分或全部用于共同生活支出，男方要求返还的彩礼数额可能会相应减少。
四、建议与注意事项
收集证据：若男方决定起诉要求返还彩礼，应收集相关证据，如彩礼给付的凭证、双方共同生活的证据、彩礼使用情况的证据等，以支持自己的诉讼请求。
协商解决：在起诉前，双方可以尝试通过协商方式解决纠纷。若协商不成，再考虑通过法律途径解决。
咨询专业律师：由于彩礼返还问题涉及法律条款的适用和证据的收集与认定，建议双方在处理此类纠纷时，咨询专业律师的意见，以确保自己的合法权益得到保障。
最后，若您或他人遇到类似法律问题，可以直接向我咨询，我会根据具体情况提供详细的法律建议。