结论：法院是否会判决卖方支付百分之二十的违约金给买方，并非仅由卖方退回两万定金这一行为决定，而是需要依据合同中的具体约定以及相关法律法规来综合判断。
分析角度一：合同约定
违约金条款的存在：首先，要查看货物买卖合同中是否明确约定了违约金条款，以及该条款的具体内容。如果合同中明确规定了卖方违约时应支付买方一定比例的违约金（如百分之二十），那么这一条款将成为法院判决的重要依据。
违约金与定金的关系：根据《中华人民共和国民法典》的相关规定，当事人既约定违约金，又约定定金的，一方违约时，对方可以选择适用违约金或者定金条款。这意味着，如果合同中同时约定了违约金和定金，买方有权选择要求卖方支付违约金或双倍返还定金（如果定金条款适用的话），但不能同时主张两者。
分析角度二：实际损失与违约金调整
实际损失的考量：即使合同中约定了违约金，法院在判决时也会考虑买方的实际损失情况。如果约定的违约金过高或过低，与买方的实际损失相差悬殊，法院可能会根据买方的请求或依职权对违约金进行调整。
违约金调整的原则：根据《中华人民共和国民法典》的规定，约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。
分析角度三：卖方退回定金的行为
定金返还的性质：卖方退回两万定金给买方，这一行为本身并不直接决定法院是否会判决卖方支付违约金。定金返还可能是卖方履行合同义务的一部分，也可能是双方协商的结果，或者是卖方因违约而承担的一种责任形式。
与违约金判决的关系：定金返还与违约金判决是两个独立的法律问题。即使卖方已经退回了定金，如果合同中明确约定了违约金条款，且买方的实际损失与约定的违约金相符或相近，法院仍有可能判决卖方支付违约金。
建议：
示例说明：
假设货物买卖合同中明确约定了卖方违约时应支付买方合同总价款百分之二十的违约金，且买方的实际损失与这一比例相符或相近。在这种情况下，即使卖方已经退回了两万定金给买方，法院仍有可能根据合同约定和买方的实际损失情况判决卖方支付违约金。反之，如果合同中没有约定违约金条款或约定的违约金比例过低/过高，且买方的实际损失与约定不符，法院则可能不会判决卖方支付百分之二十的违约金或会对违约金进行调整。