核心结论：买卖土地违法时，退款需根据土地性质、交易阶段及合同效力等具体情况，通过协商解除合同、诉讼或仲裁确认合同无效后要求返还财产、行政途径解决或刑事追赃退赔等方式进行。以下是具体分析：

一、明确土地性质与交易合法性

1. 土地性质：

   • 农村集体土地：根据《土地管理法》，农村集体土地不得非法买卖、出租或用于非农业建设（符合规划的宅基地、乡村企业等除外）。若交易涉及农村集体土地，通常属于违法行为。
   • 国有土地：国有土地使用权可通过出让、转让等方式合法交易，但需符合《城市房地产管理法》等规定（如已缴纳土地出让金、完成开发投资等）。若未满足条件或未经批准擅自转让，可能构成违法。

2. 交易合法性：

   • 若交易本身因违反法律强制性规定（如无权处分、未获批转让等）而被认定无效，买方有权要求返还已支付的款项。

二、退款的具体途径

1. 协商解除合同并退款：

   • 适用情形：双方对违法性无争议，或卖方愿意主动退款。
   • 操作步骤：
     • 买方与卖方协商，明确交易违法性及退款意愿。
     • 签订书面解除协议，约定退款金额、时间及方式。
     • 卖方按协议退款，买方返还土地相关文件（如权属证书、合同等）。

2. 诉讼或仲裁确认合同无效并要求返还财产：

   • 适用情形：协商无果，或卖方拒绝退款。
   • 操作步骤：
     • 买方向法院起诉或申请仲裁，主张合同无效（依据《民法典》第153条“违反法律、行政法规强制性规定的民事法律行为无效”）。
     • 法院或仲裁机构审理后，若确认合同无效，将依据《民法典》第157条“民事法律行为无效后，行为人因该行为取得的财产，应当予以返还”判决卖方返还买方已支付的款项。
     • 若卖方已将土地交付买方使用，买方可能需支付土地使用费（具体由法院酌定）。

3. 行政途径解决：

   • 适用情形：交易涉及行政违法（如未获批转让国有土地使用权）。
   • 操作步骤：
     • 买方向当地自然资源部门（原国土部门）举报卖方违法行为。
     • 行政部门调查后，可能对卖方作出行政处罚（如罚款、没收违法所得等），并责令退还买方款项。
     • 买方可配合行政部门提供证据（如付款凭证、合同等）。

4. 刑事追赃退赔：

   • 适用情形：交易构成犯罪（如非法转让、倒卖土地使用权罪）。
   • 操作步骤：
     • 公安机关立案侦查后，若认定卖方构成犯罪，将追缴其违法所得（包括买方已支付的款项）。
     • 买方可向公安机关申报债权，或在刑事判决后通过执行程序追回款项。

三、注意事项

1. 证据收集：

   • 保留付款凭证（如银行转账记录、收据等）、合同、土地权属证书等证据，以证明交易事实及款项支付情况。

2. 时效限制：

   • 诉讼时效为3年，自买方知道或应当知道权利受损之日起计算。若超过时效，可能丧失胜诉权。

3. 土地现状处理：

   • 若土地已被开发或转让给第三方，买方可能需通过另行诉讼主张权利（如要求卖方赔偿损失）。

4. 专业协助：

   • 土地交易违法性认定及退款程序复杂，建议买方在操作前咨询专业律师，制定具体方案。

总结：买卖土地违法时，退款需结合土地性质、交易合法性及具体情形，通过协商、诉讼、行政或刑事途径解决。买方应优先收集证据，明确诉求，并在必要时寻求法律帮助。