结论：能否要回违约金取决于合同约定、违约情形及守约方举证情况，需分情形具体分析。

1. 若合同明确约定违约金条款且卖方构成根本违约
   根据《民法典》第577条，当事人一方不履行合同义务或履行不符合约定，应承担违约责任。若买卖合同中明确约定了违约金条款（如“卖方逾期交房或拒不履行合同，需支付房屋总价款20%作为违约金”），且卖方存在根本违约行为（如明确表示不卖房、拒不配合过户等），买方可直接依据合同主张违约金。此时需注意：

   • 举证责任：买方需提供合同原件、卖方违约的证据（如聊天记录、录音、中介证明等）；
     
   • 违约金调整：若卖方主张违约金过高（如房屋总价款20%明显高于实际损失），法院可能根据《民法典》第585条调整至合理范围（通常以实际损失为基础，兼顾合同履行情况、过错程度等）。

2. 若合同未约定违约金但卖方违约
   根据《民法典》第584条，守约方可主张“实际损失赔偿”，包括直接损失（如已支付的定金、中介费、评估费等）和间接损失（如房屋涨价差价、租房费用等）。此时需注意：

   • 损失证明：买方需提供证据证明损失金额（如定金收据、中介合同、同地段房屋涨价对比等）；
     
   • 因果关系：需证明损失与卖方违约行为存在直接因果关系（如因卖方拒售导致买方错过购房时机，房价上涨部分可主张赔偿）。

3. 若卖方仅“不接电话”但未明确表示违约
   若卖方仅失联但未通过书面或行为明确表示拒售（如未签署解约协议、未退还定金等），可能不构成根本违约。此时买方需先履行“催告义务”（如发送律师函要求限期履行合同），若卖方仍不履行，方可主张违约责任。若未催告直接起诉，可能被法院认定为“未尽减损义务”，影响赔偿金额。

行动建议：

1. 立即固定证据：保存合同、付款凭证、沟通记录（尤其是卖方明确拒售的证据）；
   
2. 发送书面催告函：要求卖方限期履行合同，否则将追究违约责任；
   
3. 协商或起诉：若卖方仍不配合，可先协商降低损失（如要求支付违约金后解约），协商不成则尽快起诉并申请财产保全（防止卖方转移房产）。
   

提示：二手房交易中，卖方违约常见于房价上涨时“反价”，买方需通过法律手段及时止损。具体操作需结合合同条款和证据情况，如有疑问可进一步提供材料，我将为您详细分析。