核心结论：

1. 若土地买卖合同因违法而无效，保证金原则上应返还，但需结合具体违法情形、过错责任及实际损失综合判断；
   
2. 若保证金性质被认定为“定金”，可能因违法交易不适用定金罚则，返还比例需协商或诉讼确定；
   
3. 若因买方过错导致交易违法（如明知无权购买），可能需承担部分责任，保证金返还可能减少。
   

详细分析：

一、土地买卖违法，合同无效的法律后果

根据《民法典》第153条，违反法律、行政法规强制性规定的民事法律行为无效。个人土地买卖若违反《土地管理法》（如未经批准转让集体土地、非法买卖国有土地等），合同自始无效。

保证金返还的法律依据：

• 《民法典》第157条规定，合同无效后，因该合同取得的财产应当返还；不能返还或没必要返还的，应折价补偿。
  
• 若保证金未被实际使用或未造成损失，卖方应全额返还；
  
• 若保证金已用于交易相关支出（如评估费、手续费），需根据过错责任分担损失，可能扣除合理费用后返还剩余部分。
  

二、保证金性质影响返还规则

1. 若保证金为“订金”或“预付款”：

   • 仅作为交易诚意表示，不具有担保性质，合同无效后应全额返还。
     

2. 若保证金为“定金”：

   • 根据《民法典》第587条，定金罚则适用于有效合同（即一方违约时，定金可不予返还或双倍返还）。
     
   • 但违法交易中，定金罚则可能不适用：因合同无效，定金条款亦无效，卖方需返还定金，但若买方存在过错（如明知违法仍交易），可能需承担部分责任，返还比例需协商或诉讼确定。
     

三、过错责任对返还的影响

1. 卖方过错（如隐瞒土地性质、伪造审批文件）：

   • 卖方需全额返还保证金，并可能承担买方因此产生的损失（如交通费、律师费等）。
     

2. 买方过错（如明知无权购买、未尽审查义务）：

   • 买方可能需承担部分责任，保证金返还比例可能减少（如扣除30%作为卖方损失补偿）。
     

3. 双方均有过错：

   • 根据过错程度分担损失，保证金返还比例需协商或由法院判决。
     

建议行动：

1. 收集证据：保留保证金转账记录、合同、沟通记录等，证明交易违法事实及保证金性质；
   
2. 协商解决：与卖方沟通，明确合同无效及保证金返还依据，要求全额或合理比例返还；
   
3. 诉讼途径：若协商无果，可向法院起诉，主张合同无效并要求返还保证金，同时可要求卖方赔偿损失（如有）。
   

提示：土地交易违法性需结合具体情形判断（如土地性质、转让程序等），建议提供更多细节（如土地类型、交易方式等），以便进一步分析。