没有约定违约责任，违约方并非都不用退钱。下面我来详细解释这个问题：
在合同中，虽然双方可能没有明确约定违约责任，但并不意味着违约方就可以不用承担任何经济后果。违约责任并不仅仅依赖于合同中的明确约定，它还受到法律原则、交易习惯以及公平正义理念等因素的制约。
法律原则：根据《民法典》的相关规定，当事人应当遵循诚实信用原则，全面履行自己的义务。如果一方违约，即使合同中没有明确约定违约责任，守约方仍然有权要求违约方承担相应的违约责任，包括但不限于赔偿损失等。
交易习惯：在某些行业或领域，可能存在一些被普遍认可的交易习惯或惯例。这些习惯或惯例往往被视为合同的一部分，即使没有在合同中明确写明。如果违约方违反了这些交易习惯或惯例，也可能需要承担相应的违约责任。
公平正义理念：在法律实践中，法院会根据公平正义的理念，结合案件的具体情况，对违约责任进行裁量。如果违约方的行为给守约方造成了损失，而合同中没有明确约定违约责任，法院仍然可能会判决违约方承担相应的赔偿责任，以维护交易的公平和正义。
因此，即使没有约定违约责任，违约方在违约后也可能需要退钱或承担其他形式的违约责任。这取决于具体的合同内容、法律原则、交易习惯以及公平正义理念等因素的综合考量。如果你在这方面遇到了具体的问题或纠纷，可以随时向我咨询，我会根据你的具体情况提供针对性的法律建议。