退回来的履约保证金应算作债务人已履行的部分合同义务，或可视为合同双方协商一致的合同解除后的恢复原状措施。以下是对此结论的详细分析：

一. 履约保证金的性质

• 履约保证金是在合同签订时，为确保合同的履行而由一方（通常是中标人或合同乙方）交付给另一方（招标人或合同甲方）的一定金额。其性质类似于定金，旨在担保合同的履行。

二. 履约保证金的退还情形

1. 合同正常履行完毕：若合同双方均按约履行了合同义务，那么在合同履行完毕后，履约保证金应当予以退还，以体现其担保性质。
2. 合同解除后的恢复原状：根据《中华人民共和国民法典》第五百六十六条，合同解除后，当事人可以请求恢复原状。在此情况下，若履约保证金尚未用于弥补损失或作为违约金，则应当予以退还，作为恢复原状的一部分。

三. 履约保证金退还的法律依据

• 《中华人民共和国民法典》第五百七十七条虽然规定了违约责任，但并未直接涉及履约保证金的退还。然而，从该条可以推导出，若当事人一方已履行了合同义务（包括交付履约保证金），则有权要求对方履行相应的义务，包括在合同解除或终止后返还履约保证金。
• 《中华人民共和国民法典》第五百八十七条关于定金的规定，虽然履约保证金与定金不完全相同，但两者在担保合同履行方面有一定的相似性。该条规定了定金在合同履行、不履行或履行不符合约定时的处理原则，可为履约保证金的退还提供一定的参考。

四. 结论

• 综上所述，退回来的履约保证金应算作债务人已履行的部分合同义务，或在合同解除后作为恢复原状的措施之一。具体是否应退还履约保证金，以及退还的金额和方式，应根据合同的约定、合同的履行情况以及相关法律法规的规定来确定。

如有进一步需要，您可以继续咨询我。