合同违约金能否退回来，需要视具体情况而定。以下是从不同角度对这一问题的详细分析：
一、支付违约金一方的角度
无过错方支付违约金：
- 如果支付违约金的一方是无过错方，因对方违约而支付了违约金，在某些情况下可以要求退回。例如，合同中存在欺诈、胁迫等导致合同无效或者可撤销的情形，那么基于该合同所约定的违约金条款也是无效的，支付的违约金可以被要求退回。
自身存在违约行为：
- 若支付违约金的一方自身存在违约行为，并按照合同约定支付了违约金，这种情况下通常不能退回。因为违约金是对违约行为的一种惩罚性或补偿性措施，违约方有履行合同约定的义务，既然违约就需要承担相应的责任，包括支付违约金。
双方协商一致：
- 如果双方协商一致，同意退回违约金，也是可以的。但这建立在双方自愿且达成新的协议基础之上。
二、收受违约金一方的角度
无违约情形收取违约金：
- 如果收受违约金的一方在合同没有违约情形却收取了违约金，那么应当退还违约金给对方，因为收取没有依据。
违约金过高被判定减少：
- 如果违约金过高，违约方请求法院或仲裁机构予以适当减少，并且法院或仲裁机构判定减少后，多收取的部分应当退还。
依法依规收取违约金：
- 如果对方存在违约行为，收受违约金的一方依法依规收取的违约金，不需要退还。这是收受方应得的补偿或者对对方违约行为的惩处。
三、法律程序与法院处理
诉讼解决：
- 如果存在违约情形且涉及违约金争议，双方无法协商达成一致意见时，受损方有权向有管辖权的人民法院提起诉讼，要求违约方按照合同约定支付违约金或退还多收的违约金。
法院调整违约金：
- 对于违约金的数额，如果一方认为约定的违约金过高或过低，可请求法院予以调整。法院会综合考虑合同履行情况、当事人过错程度以及预期利益等因素进行裁量。
四、实际操作建议
- 审查合同条款：在签订合同时，应仔细审查违约金条款，确保其合理性和合法性。
- 保留证据：在合同履行过程中，应保留好相关证据，如合同文本、付款凭证、沟通记录等，以备在发生争议时作为证据使用。
- 及时协商与诉讼：一旦发生争议，应及时与对方进行协商，尝试达成和解。如果协商不成，应及时向法院提起诉讼，以维护自己的合法权益。
总结来看，合同违约金能否退回来取决于具体的合同情形、违约事实的认定以及双方后续的协商等多种因素。在处理此类问题时，建议咨询专业律师以获取更具体的法律建议。如果你有具体的法律问题或需要进一步的法律帮助，可以直接向我咨询。