已支付的违约金在某些情况下是可以主张退回的，但具体能否退回需视实际情况而定。以下是对这一问题的详细分析：

1. 存在特殊情况：

   • 如果在支付违约金的过程中，存在因当事人造成的重大误解、明显不公的交易条件、显著的欺骗行为或者严重的威胁压力等特殊情况，这些特殊情况可能使得先前所支付的违约金面临被撤销的风险。
   • 如果合同条款中明确规定了在某些特定状况下已支付的违约金可以实现退款，那么在这些特定条件下，违约金也是有可能被退回的。

2. 合同无法履行或非违约方原因：

   • 如果合同因不可抗力等不可归责于双方的原因导致不能履行，且约定的违约金条款对此种情况未作特别排除，若一方已支付违约金，可主张退还，因为合同无法履行并非其过错。
   • 若合同解除，且解除原因并非违约方造成，那么已支付的违约金也可能需要返还。

3. 违约金约定过高：

   • 如果违约金数额过高，远超违约造成的实际损失，当事人可以向法院或仲裁机构请求适当减少违约金。经审理认定违约金过高并调整后，超出合理部分的已支付违约金可退还。

4. 合同无效或可撤销：

   • 如果支付违约金所依据的基础合同被认定为无效或可撤销，如因重大误解、显失公平、欺诈、胁迫等事由导致合同无效或可撤销，那么已支付的违约金也存在返还的可能。

然而，如果没有上述特殊情况发生，并且在合同执行期间，违约方的违约行为已经明确且无法否认，那么支付违约金本身就相当于是对于违约行为的一种债务承担。在这种情况下，想要将已经支付的违约金再行归还给违约方是非常困难的。

综上所述，已支付的违约金能否主张退回，需要综合考虑合同的具体规定、实际的违约情况、现行的法律法规以及双方最终达成的协议等多个因素。如果您有具体的法律问题或需要进一步的法律建议，请直接向我咨询。