结论：男方每年给女方的钱能否要回，需根据款项性质、双方约定及实际情况综合判断，一般情况下，若款项为赠与且无附加条件，则难以要回；若存在借贷关系或其他特殊情况，则可能有机会要回。
一、款项性质是关键
赠与性质：
- 若男方每年给女方的钱被明确为赠与，且没有附加任何条件（如以结婚为目的的赠与），则根据《民法典》中关于赠与合同的规定，赠与财产的权利一旦转移，赠与人通常无权要求返还。
- 赠与可以是无条件的，也可以是有条件的。但若无明确条件，且赠与已完成，则难以撤销。
借贷性质：
- 若男方能证明所给款项为借款，且有相关证据（如借条、转账记录备注为借款等），则男方有权要求女方返还。
- 借贷关系需要明确的借贷合意和借款事实，若能证明，则男方可以依法追讨。
以结婚为目的的赠与：
- 若男方给女方的钱是以结婚为目的的大额赠与（如彩礼），且双方最终未结婚，则根据《民法典》及相关司法解释，男方可能有权要求返还。
- 但此类情况需具体分析，如赠与金额、双方经济状况、未结婚的原因等。
二、双方约定及实际情况
双方有明确约定：
- 若双方在同居期间有明确的书面或口头约定，关于款项的性质、用途及返还条件等，则应按照约定执行。
- 约定需合法、有效，且不违反公序良俗。
实际情况分析：
- 除了款项性质和双方约定外，还需考虑实际情况，如双方的经济状况、同居期间的共同生活情况、款项的实际用途等。
- 这些因素可能影响款项是否应返还及返还的金额。
三、法律建议
收集证据：
- 男方应尽可能收集与款项相关的证据，如转账记录、聊天记录、书面约定等。
- 证据应真实、合法、有效，能够证明款项的性质和双方的关系。
协商解决：
- 在诉讼前，双方可以尝试协商解决，看是否能达成一致意见。
- 协商解决可以节省时间和成本，且更有利于双方关系的修复。
诉讼途径：
- 若协商无果，男方可以考虑通过诉讼途径解决。
- 诉讼前应咨询专业律师，了解诉讼风险和可能的结果。
四、特殊情况考虑
同居关系不等于婚姻关系：
- 同居关系不受法律特别保护，因此同居期间的财产处理需更加谨慎。
- 男方不能仅凭同居关系就要求返还所有给女方的钱。
道德和情感因素：
- 在处理此类问题时，除了法律因素外，还应考虑道德和情感因素。
- 双方应理性对待，避免因金钱问题而伤害彼此的感情。
总结：男方每年给女方的钱能否要回，需根据款项性质、双方约定及实际情况综合判断。若款项为赠与且无附加条件，则难以要回；若存在借贷关系或其他特殊情况，则可能有机会要回。在处理此类问题时，建议男方收集相关证据，尝试协商解决，若协商无果则考虑通过诉讼途径解决。同时，也应考虑道德和情感因素，理性对待。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。