结论：是否需要退钱，需根据具体情况判断，主要看男生所支出的费用性质以及双方是否存在约定。以下是具体分析：

1. 若男生支出的费用属于恋爱期间的一般性、自愿性赠与
   • 在恋爱关系中，男生为了表达爱意、增进感情而自愿给予女生一些财物，比如日常的小礼物、一起吃饭、看电影等消费支出，这些通常被视为一般性、自愿性赠与。
   • 根据法律规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。一旦赠与行为完成，赠与人一般不能要求返还，除非存在法定撤销情形（如受赠人严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行等）。
   • 所以，在这种情况下，即使女生不答应赴约，男生要求退钱，女生是可以拒绝的。
2. 若男生支出的费用属于以结婚为目的的大额赠与
   • 如果男生给予女生的财物价值较大，且是以结婚为目的，比如为结婚而购买的房产、车辆、贵重首饰等，或者明确表示是为了结婚而给予的彩礼等，这种赠与在法律上可能被视为附条件的赠与，所附条件就是双方最终能够结婚。
   • 当双方未能结婚，即所附条件未成就时，赠与人有权要求受赠人返还相应的财物。这是因为这种大额赠与与一般的恋爱赠与不同，它承载了特定的目的和意义，一旦目的无法实现，从公平原则和法律规定的角度，受赠人应当返还。
   • 因此，如果男生支出的费用属于这种情况，女生可能需要退还相应的钱物。
3. 若双方事先有明确的约定
   • 如果在男生支出费用之前，双方就费用的退还问题有明确的约定，比如约定如果女生不赴约就需要退还费用等，那么根据意思自治原则，双方应当按照约定履行。
   • 此时，女生就需要按照约定退还男生相应的费用。

建议：如果遇到这种情况，双方可以先友好协商解决。如果协商不成，男生坚持要求退钱，女生可以根据上述不同情况判断自己是否有义务退还。若对法律适用存在疑问，可以进一步向我咨询，我会结合具体细节为你详细分析。