结论：是否仅退两万定金还是需赔付20万违约金，这主要取决于合同中的具体约定以及逾期面签的具体原因和责任归属。以下从不同角度进行分析：

1. 合同约定：

   • 定金与违约金并存：如果合同中既约定了定金条款，又约定了违约金条款，且两者都是针对卖方逾期面签这一违约行为，那么根据《中华人民共和国民法典》的相关规定，买方有权选择适用定金条款或者违约金条款，但不能同时主张两者。即，买方可以选择要求卖方双倍返还定金（如果定金性质为违约定金且符合双倍返还条件）或者要求卖方支付约定的20万违约金，但不能同时获得两者。
   • 仅约定定金或违约金：如果合同中仅约定了定金或违约金中的一种，那么应按照合同约定执行。若仅约定定金，则卖方逾期面签时，买方有权要求卖方双倍返还定金（如果符合条件）；若仅约定违约金，则买方有权要求卖方支付约定的违约金。

2. 逾期面签的原因和责任归属：

   • 卖方责任：如果逾期面签是由于卖方的原因造成的，如卖方未能按时准备相关文件或未能按时到达面签地点等，那么卖方应承担违约责任，按照合同约定支付违约金或双倍返还定金。
   • 买方责任或不可抗力：如果逾期面签是由于买方的原因或不可抗力因素造成的，如买方未能按时提供必要文件或遭遇自然灾害等无法预见、无法避免且无法克服的情况，那么卖方可能不承担违约责任，或者仅承担部分责任。此时，买方可能无权要求卖方支付违约金或双倍返还定金，或者只能要求卖方返还已支付的定金。

3. 实际损失与违约金调整：

   • 实际损失考量：根据《中华人民共和国民法典》的规定，约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。因此，如果买方主张的20万违约金明显高于其因卖方逾期面签所遭受的实际损失，卖方可以请求法院或仲裁机构予以减少。
   • 违约金调整机制：在调整违约金时，法院或仲裁机构会综合考虑合同的履行情况、当事人的过错程度以及预期利益等因素，以确定一个合理的违约金数额。

建议：

• 审查合同：首先，建议买方和卖方都仔细审查合同中的定金和违约金条款，明确各自的权利和义务。
• 协商解决：在发生争议时，双方可以尝试通过协商的方式解决纠纷，以达成一个双方都能接受的解决方案。
• 法律途径：如果协商无果，买方或卖方可以根据合同约定或法律规定，通过法律途径解决纠纷，如向法院提起诉讼或向仲裁机构申请仲裁。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。