这个钱可能由你男朋友或者你自己，甚至第二人负责退还，具体要看案件的具体情况和相关证据。下面我分情况给你详细解释一下：

1. 如果你男朋友构成诈骗，且你知情并参与：

   • 在这种情况下，你和你男朋友可能构成共同犯罪。根据“部分实行、全部责任”的共犯处罚原则，你可能需要对你男朋友诈骗的全部金额承担责任，包括通过你的银行卡转给第二人的钱。因此，这个钱可能由你和你男朋友共同负责退还。

2. 如果你男朋友构成诈骗，但你不知情也未参与：

   • 如果你能证明你对于男朋友的诈骗行为完全不知情，且没有参与他的诈骗活动，那么你可能不需要承担刑事责任。但是，由于你的银行卡被用于转移诈骗所得，你可能需要配合警方调查，并说明相关情况。在这种情况下，退还责任可能主要由你男朋友承担。

3. 如果第二人知情并参与诈骗：

   • 如果第二人知道你男朋友的诈骗行为，并积极参与其中，包括接收诈骗所得，那么第二人也可能构成诈骗罪的共犯。在这种情况下，第二人也可能需要承担退还责任。

4. 如果第二人不知情且未参与诈骗：

   • 如果第二人对于你男朋友的诈骗行为完全不知情，且没有参与任何诈骗活动，那么第二人不需要承担刑事责任。但是，如果第二人已经收到了诈骗所得，并且这些钱款可以被追回，那么第二人可能需要配合警方调查，并退还相关钱款。

综上所述，这个钱由谁负责退还取决于案件的具体情况和相关证据。如果你面临这样的情况，建议尽快咨询专业律师，以便更好地了解自己的法律责任和应对策略。同时，也要积极配合警方调查，提供相关信息和证据。