关于“付了钱但是不用对方继续了是否要把钱退回”的问题，这主要取决于双方之间的约定以及实际履行情况。以下是我从几个不同角度的分析：
合同约定情况：
- 如果双方签订了书面合同，并且合同中明确规定了退款条款，那么应当按照合同约定的条款执行。例如，合同中可能规定了在某种情况下，买方有权要求退款，卖方应当同意。
- 如果合同中没有明确约定退款条款，但约定了服务内容或履行期限，且对方未按照约定提供服务或未在约定期限内完成服务，那么你可能有权要求退款，或者至少要求对方承担相应的违约责任。
无合同约定或约定不明的情况：
- 在没有书面合同或者合同内容不明确的情况下，双方应当遵循诚实信用原则进行协商。如果你已经支付了款项，但对方明确表示无法或不愿继续提供服务，那么你有权要求退款。
- 如果双方对退款金额或方式存在争议，可以尝试通过友好协商达成一致。协商不成时，你可以考虑通过法律途径解决纠纷。
法律后果：
- 如果你要求退款但对方拒绝，你可以考虑向法院提起诉讼，要求对方承担违约责任并退还已支付的款项。在诉讼过程中，你需要提供充分的证据来证明你的主张，如付款凭证、聊天记录、合同文本等。
- 如果法院认定你的主张成立，那么对方可能需要承担退还款项、支付违约金等法律责任。
综上所述，是否要把钱退回主要取决于双方之间的约定以及实际履行情况。如果你已经支付了款项但对方无法或不愿继续提供服务，你有权要求退款，并可以通过法律途径维护自己的合法权益。在处理此类纠纷时，建议保留好相关证据，以便在需要时提供证明。