结论：是否需要归还男方给女方的钱，需根据钱的性质、给付目的以及双方的具体情况来综合判断，不能一概而论。以下从不同角度进行分析：
一、若钱款为赠与性质
一般赠与：如果男方给女方的钱是出于自愿，且没有明确的附条件或附义务，那么这种赠与在法律上通常被视为单方民事法律行为，一旦赠与完成，除非存在法定撤销情形（如严重侵害赠与人或其近亲属的合法权益、对赠与人有扶养义务而不履行、不履行赠与合同约定的义务等），否则赠与人不得要求返还。因此，在这种情况下，女方无需归还钱款。
附条件赠与：如果男方在赠与钱款时明确附带了条件，比如要求女方与其结婚或保持某种关系等，而女方未能满足这些条件，那么男方有权要求撤销赠与并返还钱款。但若条件已成就或无法成就非女方原因，则女方无需归还。例如，若男方赠与钱款时要求女方与其结婚，但最终因男方自身原因导致无法结婚，则女方无需归还。
二、若钱款为借款性质
如果男方给女方的钱是借款，且双方有明确的借贷合意（如借条、转账备注等），那么女方作为借款人，有义务按照约定的期限和方式归还借款。在这种情况下，女方需要归还钱款。若女方未按时归还，男方有权通过法律途径追讨。
三、若钱款为彩礼性质
未办理结婚登记：如果男方给女方的钱是彩礼，且双方未办理结婚登记手续，那么根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，男方有权要求返还彩礼。在这种情况下，女方需要归还彩礼。
已办理结婚登记但未共同生活/婚前给付导致给付人生活困难：如果双方已办理结婚登记手续但确未共同生活，或者婚前给付并导致给付人生活困难的，男方也有权要求返还彩礼。同样，在这种情况下，女方需要归还彩礼。但具体返还比例需根据双方实际情况和法院判决来确定。
四、若男方存在过错（如变态行为）对女方造成损害
如果男方的变态行为对女方造成了身体或精神上的损害，女方有权要求男方承担赔偿责任。在这种情况下，如果男方之前给女方的钱款与损害赔偿相关（如作为赔偿的一部分），则女方无需归还这部分钱款。甚至，女方还可以根据实际损害情况，要求男方额外赔偿。
建议：由于每种情况的具体法律后果和操作方式都可能因案件细节和地区差异而有所不同，因此，在处理此类问题时，建议女方先与男方进行协商，尝试通过友好方式解决纠纷。如果协商无果，女方可以寻求法律援助或咨询专业律师（如我），以便更准确地了解自己的权利和义务，并采取合适的法律措施来维护自己的合法权益。