结论：能否把钱要回来，取决于协议的具体内容、款项性质以及是否存在法定无效或可撤销的情形。以下从不同角度为您详细分析：
一、协议内容与款项性质
协议内容合法有效：
- 如果协议内容合法，且双方意思表示真实，不存在欺诈、胁迫等情形，那么该协议对双方具有法律约束力。
- 在这种情况下，如果款项已经按照协议约定支付，且没有法定无效或可撤销的情形，那么要求返还款项可能会面临法律障碍。
协议内容违法或无效：
- 如果协议内容违反法律、行政法规的强制性规定，或者违背公序良俗，那么该协议可能被认定为无效。
- 根据《中华人民共和国民法典》的相关规定，无效的民事法律行为自始没有法律约束力，因此，如果协议无效，您有权要求返还因该协议取得的财产。
款项性质为不当得利：
- 如果款项的支付没有合法依据，或者虽然原本有合法依据但后来该依据丧失，那么接收款项的一方可能构成不当得利。
- 在这种情况下，您有权要求返还不当得利。
二、法定无效或可撤销的情形
欺诈、胁迫：
- 如果协议是在一方欺诈、胁迫的情况下签订的，那么受欺诈、胁迫方有权请求人民法院或者仲裁机构撤销该协议。
- 协议被撤销后，自始没有法律约束力，您有权要求返还因该协议取得的财产。
显失公平：
- 如果协议在订立时显失公平，例如一方利用对方处于危困状态、缺乏判断能力等情形，致使民事法律行为成立时显失公平的，受损害方有权请求人民法院或者仲裁机构予以撤销。
- 协议被撤销后，您同样有权要求返还财产。
三、实际操作建议
收集证据：
- 首先，您需要收集与协议相关的所有证据，包括协议文本、付款凭证、沟通记录等。
- 这些证据将有助于您证明协议的内容、款项的支付情况以及是否存在法定无效或可撤销的情形。
咨询专业律师（此处虽为常规建议，但根据约束条件调整为）：
- 在处理此类复杂法律问题时，建议您直接向我咨询，我可以根据您的具体情况提供更详细的法律分析和建议。
考虑诉讼或仲裁：
- 如果协商无果，您可能需要考虑通过诉讼或仲裁的方式来解决争议。
- 在选择诉讼或仲裁前，请务必评估成本、时间以及胜诉的可能性等因素。
四、特殊情况说明
- 如果协议涉及第三方：例如，如果协议是您丈夫与他人共同签订的，且款项支付也涉及第三方，那么情况可能会更加复杂。在这种情况下，您需要更详细地了解协议的具体内容和款项的支付情况，以便更准确地评估法律风险和制定应对策略。
最后，我理解您现在可能非常焦虑和困惑，但请保持冷静。法律问题往往复杂多变，需要综合考虑多种因素。如果您有任何疑问或需要进一步的帮助，请随时向我咨询。我会尽我所能为您提供专业、全面的法律支持。