结论：卖家在买家签的合同与事实不符的情况下，将定金退了是否算违约，需根据具体情况判断，若卖家在退定金时无合法依据且未与买家协商一致，可能构成违约；若卖家有合法解除合同的理由并正确行使权利，则不构成违约。以下从不同角度进行分析：
一、合同与事实不符的法律后果
在货物买卖合同中，合同的内容应当真实、准确，反映双方的真实意思表示。如果买家签的合同与事实不符，这可能构成合同欺诈、重大误解或合同内容不真实等情形。根据《中华人民共和国民法典》的相关规定，因重大误解订立的合同，或者一方以欺诈手段使对方在违背真实意思的情况下订立的合同，受损害方有权请求人民法院或者仲裁机构变更或者撤销。
二、卖家退定金的行为分析
卖家无合法依据退定金：
- 如果卖家在退定金时，没有合法的合同解除理由，或者未与买家协商一致，就擅自退还定金，这可能构成违约。因为定金是合同履行的一种担保方式，卖家在无正当理由的情况下退还定金，可能被视为拒绝履行合同或提前解除合同，从而需要承担违约责任。
卖家有合法解除合同的理由：
- 如果卖家发现买家签的合同与事实不符，且这种不符构成了合同欺诈、重大误解或合同内容不真实等情形，卖家有权根据《中华人民共和国民法典》的规定，请求人民法院或者仲裁机构变更或者撤销合同。在合同被撤销后，卖家退还定金的行为就不构成违约，因为此时合同自始没有法律约束力。
- 另外，如果卖家在退定金前已经与买家协商一致，或者买家同意解除合同并接受定金退还，那么卖家的行为也不构成违约。
三、法律建议
对于卖家：
- 在发现买家签的合同与事实不符时，应首先与买家进行沟通，了解情况并尝试协商解决。
- 如果协商无果，且卖家认为合同存在欺诈、重大误解或内容不真实等情形，可以寻求法律途径解决，如请求人民法院或仲裁机构变更或撤销合同。
- 在退还定金前，应确保有合法的合同解除理由，并与买家协商一致或获得买家的同意。
对于买家：
- 在签订合同时，应确保合同内容真实、准确，反映双方的真实意思表示。
- 如果发现卖家擅自退还定金，且自己认为合同有效且应继续履行，可以与卖家进行沟通并要求继续履行合同或承担违约责任。
- 如果买家也认为合同存在欺诈、重大误解或内容不真实等情形，可以寻求法律途径解决，如请求人民法院或仲裁机构变更或撤销合同。
进一步思考：在实际操作中，合同纠纷往往涉及复杂的法律关系和事实认定。因此，在处理此类纠纷时，建议双方充分收集证据、了解相关法律法规，并在必要时寻求专业律师的帮助。如果你有任何具体的法律问题或需要进一步的法律建议，可以直接向我咨询。