结论前置：单方违约致使协议失效时，违约方已经履行的责任是否要退回，需根据具体情况判断，一般原则是恢复原状，但存在例外情形。

详细分析：

1. 恢复原状原则：

   • 当一方违约导致合同解除或失效时，根据《中华人民共和国民法典》的相关规定，合同解除后，尚未履行的，终止履行；已经履行的，根据履行情况和合同性质，当事人可以请求恢复原状或者采取其他补救措施，并有权请求赔偿损失。
   • 恢复原状：通常意味着违约方需要将其已经履行的部分返还给守约方，以恢复到合同签订前的状态。例如，如果违约方已经交付了货物，而合同因违约而解除，那么违约方可能需要取回货物，或者如果货物已被使用或消耗，则可能需要支付相应的赔偿。

2. 例外情形：

   • 非金钱债务的履行：在某些情况下，特别是当合同涉及非金钱债务（如服务、劳务等）时，恢复原状可能不现实或不可能。例如，如果违约方已经提供了服务，而服务已被守约方接受或使用，那么要求违约方“恢复原状”可能没有意义。
   • 合同性质与履行情况：合同的性质和履行情况也会影响是否恢复原状。例如，如果合同是继续性合同（如租赁合同），且违约方已经支付了部分租金，而合同因违约而提前终止，那么违约方可能无权要求退还已支付的租金，因为这部分租金对应的是已经享受的租赁期间。
   • 守约方意愿：守约方也可能选择不要求恢复原状，而是接受违约方的部分履行，并要求违约方赔偿因此造成的损失。

3. 赔偿损失：

   • 无论是否恢复原状，违约方通常都需要赔偿守约方因违约而遭受的损失。这包括直接损失（如货物成本、服务费用等）和间接损失（如利润损失、商业机会损失等）。

法律建议：

• 在处理此类纠纷时，建议首先查阅合同中的相关条款，特别是关于违约和解除合同的条款，以了解双方的权利和义务。
• 如果合同中没有明确规定或规定不明确，建议咨询专业律师，以了解具体的法律适用和可能的解决方案。
• 在协商或诉讼过程中，应充分准备证据，以证明自己的主张和损失情况。

可能后果：

• 如果违约方被要求恢复原状并赔偿损失，那么违约方可能需要承担额外的经济负担。
• 如果守约方选择不要求恢复原状，而是接受部分履行并要求赔偿损失，那么违约方可能只需支付赔偿金，而无需恢复原状。

如有具体法律问题，可以直接向我咨询，我会结合你的实际情况，给出更具体的法律建议。