结论：是否需要把钱“要回来”取决于钱的性质、来源以及你们之间的约定或法律规定。以下从不同角度为你详细分析：
如果钱是夫妻共同财产：
- 法律背景：根据《中华人民共和国民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产，如工资、奖金、生产经营收益等，原则上属于夫妻共同财产，双方有平等的处理权。
- 分析：如果这笔钱是你们婚姻关系存续期间共同赚取的，那么它属于夫妻共同财产。你老公有权使用这笔钱，但同样，你也有权参与决策如何使用。如果他认为这笔钱应该用于家庭共同开支或投资，而你不同意，这需要通过沟通协商来解决，而不是简单地“要回来”。
- 建议：与老公坦诚沟通，了解他使用这笔钱的计划和目的，共同协商如何合理使用夫妻共同财产。
如果钱是你的个人财产：
- 法律背景：同样根据《中华人民共和国民法典》，一方的婚前财产、因受到人身损害获得的赔偿或者补偿、遗嘱或者赠与合同中确定只归一方的财产等，属于个人财产。
- 分析：如果这笔钱是你的个人财产，比如婚前存款、个人继承的遗产等，那么你有权决定如何使用这笔钱。如果你老公未经你同意使用了这笔钱，你有权要求他归还。
- 建议：首先与老公沟通，明确这笔钱的性质和你的意愿。如果他拒绝归还，你可以考虑通过法律途径解决，如向法院提起诉讼要求返还个人财产。
如果存在赠与或借贷关系：
- 法律背景：赠与是赠与人将自己的财产无偿给予受赠人，受赠人表示接受的一种行为。借贷则是借款人向贷款人借款，到期返还借款并支付利息的行为。
- 分析：如果你曾经明确表示将这笔钱赠与老公，或者你们之间存在借贷关系（如有书面借条、转账记录等），那么情况就会有所不同。赠与的钱一般不能要求返还，除非存在法定撤销情形；而借贷的钱则必须按照约定归还。
- 建议：回顾你们之间的交流记录和书面协议（如果有的话），明确这笔钱的性质。如果是赠与，考虑是否满足法定撤销条件；如果是借贷，则与老公协商还款计划或通过法律途径追讨。
额外提醒：在处理这类家庭财产纠纷时，保持冷静和理性至关重要。尝试通过沟通协商解决问题，如果无法达成一致，再考虑寻求法律帮助。同时，保留好相关证据（如转账记录、聊天记录、书面协议等）以便在需要时提供证明。
后续行动建议：如果你对这笔钱的性质或处理方式仍有疑问，或者需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况提供更详细的法律建议和解决方案。