结论：是否需要把钱退给乙方，取决于房屋出兑合同中的具体约定以及乙方违约的性质和程度。

一、合同有明确约定的情况

如果甲乙双方在房屋出兑合同中明确约定了乙方不履行合同（即“不兑了”）时，甲方应如何处理乙方已支付的钱款，那么应当严格按照合同约定执行。

• 若合同约定退款：则甲方需按约定将钱款退还给乙方。
• 若合同约定不退款或需支付违约金：则甲方有权不退还钱款，甚至可能要求乙方支付额外的违约金。

二、合同无明确约定的情况

如果合同中没有明确约定乙方不履行合同时甲方应如何处理钱款，那么需要根据《中华人民共和国民法典》的相关规定以及公平原则、诚实信用原则来进行判断。

1. 乙方无正当理由违约：

   • 如果乙方无正当理由单方面解除合同，构成违约，甲方有权要求乙方承担违约责任。这种情况下，甲方通常不需要退还乙方已支付的钱款，甚至可以要求乙方赔偿因违约造成的损失。

2. 乙方因不可抗力或甲方原因违约：

   • 如果乙方因不可抗力（如自然灾害、政府行为等）或甲方的原因（如甲方未能履行合同义务）导致无法履行合同，那么情况会有所不同。此时，乙方可能不需要承担违约责任，而甲方可能需要根据实际情况退还部分或全部钱款。

三、实际操作建议

1. 审查合同条款：首先，甲乙双方应仔细审查房屋出兑合同的条款，特别是关于违约责任和钱款处理的约定。
2. 协商解决：如果合同中没有明确约定或约定不明确，双方可以尝试通过协商来解决争议。协商过程中，可以参考类似案例和市场惯例，寻求一个双方都能接受的解决方案。
3. 寻求法律途径：如果协商无果，任何一方都有权向人民法院提起诉讼或依据合同中的仲裁条款申请仲裁，以维护自己的合法权益。

四、风险提示

• 合同的重要性：签订合同时，务必明确约定双方的权利和义务，特别是关于违约责任和钱款处理的条款。这有助于在发生争议时，为双方提供明确的法律依据。
• 违约的后果：违约方可能需要承担违约责任，包括但不限于退还钱款、支付违约金、赔偿损失等。因此，在签订合同时，应充分考虑自己的履约能力，避免盲目承诺。

总结：在处理此类问题时，建议甲乙双方首先审查合同条款，然后尝试通过协商解决争议。如果协商无果，可以寻求法律途径来维护自己的合法权益。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。