核心结论：男方主动要求你退还转过的钱，是否需要退还取决于转账的性质、双方关系以及具体情境，需分情况讨论。以下是具体分析：
1. 若转账属于赠与性质
- 法律分析：根据《民法典》第六百五十七条，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。若转账是男方出于自愿、无偿给予你（如节日红包、表达爱意的转账等），且未附加任何条件（如“以结婚为目的”），通常视为赠与。
- 处理建议：赠与一旦完成（钱已到账），除非存在法定撤销情形（如受赠人严重侵害赠与人或其近亲属权益），否则赠与人无权要求返还。你无需退还，但需保留转账记录、聊天记录等证据，证明转账性质为赠与。
2. 若转账属于借款性质
- 法律分析：若转账时双方明确约定为借款（如男方通过微信、短信或口头明确表示“借你XX元”），或转账备注为“借款”，则构成借贷关系。根据《民法典》第六百七十五条，借款人应按约定期限返还借款；未约定期限的，贷款人可随时要求返还。
- 处理建议：若男方能提供证据证明转账为借款（如聊天记录、借条等），你需退还。若你主张转账非借款，需提供反证（如证明转账是赠与或其他性质）。
3. 若转账属于“彩礼”或“以结婚为目的”的赠与
- 法律分析：根据《民法典婚姻家庭编司法解释（一）》第五条，若双方未办理结婚登记，男方请求返还按照习俗给付的彩礼，法院应予支持。若转账是男方以结婚为目的的大额赠与（如购房款、购车款等），可能被认定为“附条件赠与”，条件未成就时需返还。
- 处理建议：若转账金额较大且明显超出日常交往范畴（如数万元以上），且男方能证明转账是以结婚为目的，你可能需退还部分或全部。但若转账是日常消费支出（如吃饭、旅游等），通常无需退还。
4. 若转账涉及不当得利
- 法律分析：根据《民法典》第九百八十五条，若转账是因男方误操作（如输错账号）或你无合法依据取得（如诈骗），男方可要求返还。
- 处理建议：若转账确属误操作或你无合法依据取得，你需退还。但若你主张有合法依据（如赠与、借款等），需提供证据证明。
行动建议
- 梳理证据：整理所有转账记录（银行流水、微信/支付宝记录）、聊天记录（证明转账性质）、证人证言等。
- 协商沟通：与男方友好协商，明确转账性质及是否需退还。若协商无果，可寻求第三方调解（如居委会、人民调解委员会）。
- 法律途径：若男方坚持要求退还且协商无果，他可能起诉至法院。此时你需积极应诉，提供证据证明转账性质，维护自身权益。
温馨提示：法律问题需结合具体证据和情境判断，以上分析仅供参考。若涉及大额资金或复杂情况，建议直接向我咨询，我会根据你的具体情况提供详细法律意见。