买方违约时，并不必然需要赔偿合同金额的20%，赔偿数额的确定需依据合同约定、实际损失、违约严重程度及当地法律法规等因素综合判断。以下从多个角度为你详细分析：

一、合同约定优先

1. 违约金条款：如果合同中明确约定了违约金的具体数额或计算方式，那么违约方应按照该约定承担违约责任。若合同未约定违约金为交易金额的20%，则买方无需按此比例赔偿。例如，合同中约定违约金为交易金额的10%，那么买方违约时，只需按照10%的比例赔偿，而非20%。
2. 定金罚则：若合同中约定了定金，且买方支付了定金，当买方违约时，卖方有权没收定金作为赔偿。此时，赔偿金额以定金数额为限，而非固定的20%。根据《民法典》第五百八十六条，定金的数额由当事人约定，但不得超过主合同标的额的百分之二十，超过部分不产生定金的效力。比如，合同总金额为100万元，定金约定为15万元，当买方违约时，卖方只能没收这15万元定金，而不能要求赔偿20万元（即合同金额的20%）。

二、实际损失为基础

1. 损失范围：根据《民法典》第五百八十四条，违约方应赔偿对方因违约所遭受的损失，包括合同履行后可以获得的利益，但不得超过违约一方订立合同时预见到或者应当预见到的因违约可能造成的损失。这意味着，赔偿金额并非固定为合同金额的20%，而是要根据实际损失来确定。例如，卖方因买方违约而遭受的直接损失为5万元，同时因合同未履行而失去了预期的利润3万元，那么买方应赔偿的总金额为8万元，而非合同金额的20%。
2. 举证责任：主张赔偿的一方需要证明其实际损失的存在和具体数额。若卖方无法提供充分证据证明其损失达到了交易金额的20%，则法院可能不会支持这一赔偿请求。比如，卖方声称因买方违约而遭受了20万元的损失，但只能提供证据证明损失为10万元，那么法院只会支持赔偿10万元的请求。

三、法律限制与调整

1. 违约金过高或过低的调整：根据《民法典》第五百八十五条，约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少；约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加。这意味着，即使合同中约定了违约金为交易金额的20%，但如果该违约金过分高于卖方因买方违约所遭受的实际损失，买方也有权请求法院或仲裁机构适当减少违约金数额。例如，合同中约定违约金为20万元（合同金额的20%），但卖方因买方违约所遭受的实际损失仅为10万元，那么买方可以请求法院将违约金减少至10万元或更低。
2. 公平原则：法院在审理案件时会考虑公平原则，确保赔偿金额既不过高也不过低，以平衡双方当事人的利益。这进一步限制了赔偿金额的确定，使其不会偏离实际损失过多。

四、其他影响因素

1. 不可抗力或情势变更：若买方的违约行为是由于不可抗力或情势变更导致的，且其已尽到合理注意义务并采取了相应措施，那么其赔偿责任可能会得到减轻或免除。例如，因自然灾害导致买方无法按时履行合同义务，且买方已及时通知卖方并采取了补救措施，那么买方可能只需承担部分赔偿责任或无需承担赔偿责任。
2. 双方协商：在实际操作中，双方当事人也可以通过协商的方式解决赔偿问题，达成和解协议。这意味着，赔偿金额并非固定不变，而是可以通过协商来确定。例如，双方可以协商确定赔偿金额为合同金额的15%或其他比例，以达成和解并避免诉讼。

总结与建议：

综上所述，买方违约时是否需要赔偿合同金额的20%，并不能一概而论。而是需要根据合同的具体约定、卖方的实际损失、买方的违约行为及过错程度以及当地的法律法规来综合判断。在实际操作中，建议双方在签订合同时明确约定违约责任和赔偿方式，以减少纠纷的发生。如果发生纠纷，你可以直接向我咨询，我会根据你的具体情况提供准确的法律意见和解决方案。