不按规定退回履约保证金，这一行为主要违反了合同条款的约定以及相关的法律法规。以下是对此问题的详细分析：
一、合同条款的违反
在大多数合同中，都会明确规定履约保证金的退还条件、方式和期限。如果合同中明确规定了这些条款，而一方未按照约定退回履约保证金，那么该行为就构成了对合同条款的违反。合同是双方自愿达成的协议，具有法律约束力，因此违反合同条款的行为是违法的。
二、相关法律法规的违反
除了合同条款外，不按规定退回履约保证金还可能违反以下相关法律法规：
《中华人民共和国民法典》：
- 根据民法典的相关规定，当事人一方不履行合同义务或履行合同义务不符合约定的，应承担继续履行、采取补救措施或赔偿损失等违约责任。如果未按规定退回履约保证金，可以视为未履行合同中的退还义务，从而构成违约，需要承担相应的法律责任。
- 若履约保证金被认定为定金性质，根据民法典中关于定金的规定，若给付定金的一方不履行债务，无权请求返还定金；若收受定金的一方不履行债务，应双倍返还定金。因此，如果未按规定退回履约保证金（定金），也可能面临双倍返还的法律责任。
《中华人民共和国招标投标法》（特定于招标投标活动）：
- 在招标投标活动中，如果中标人不履行合同，履约保证金通常不予退还，并需对超过部分进行赔偿；如果招标人不履行合同，则应双倍返还履约保证金，并对超过部分进行赔偿。因此，在招标投标活动中，不按规定退回履约保证金将直接违反该法的规定。
三、不同情形下的法律责任
因交付方原因未履行合同：
- 如果交付履约保证金的一方违约导致合同未能履行，收受方通常有权不予退还履约保证金，以作为对违约行为的制裁和担保。但这一行为仍需在合同中有明确约定或符合法律法规的规定。
因收受方原因未履行合同：
- 如果收受履约保证金的一方违约，交付方有权要求退还履约保证金，并可能要求收受方承担违约责任，如双倍返还（如履约保证金性质为定金）、赔偿损失等。
因不可归责于双方的原因未履行合同：
- 当合同未履行是由于不可抗力、情势变更等不可归责于双方当事人的原因导致时，履约保证金应当退还，因为双方均无过错。
四、实际操作建议
在处理履约保证金退还问题时，建议首先查阅合同条款，了解双方的具体约定。如果合同中有明确规定，则按照规定执行；如果合同中没有明确规定或规定不明确，双方应通过协商来解决争议。协商不成时，可以寻求法律救济，如通过诉讼或仲裁等方式解决纠纷。同时，建议双方在签订合同时就履约保证金的退还问题作出明确约定，以避免不必要的法律纠纷和损失。