非法买卖土地的钱能否退回，需根据具体情况判断，但通常情况下，非法所得会被没收，难以直接退回给买卖双方。以下从不同角度详细分析：
一、非法买卖土地的法律后果
非法买卖土地是严重违反土地管理法律法规的行为，将面临包括行政处罚、刑事处罚及行政处分在内的严厉制裁。
行政处罚：
- 没收违法所得：根据相关法律法规，县级以上人民政府自然资源主管部门将没收通过非法买卖土地获得的全部金钱收益。这意味着，非法买卖土地所得的钱款，通常会被政府没收，难以直接退回给买卖双方。
- 建筑物处理：若违法建筑符合土地利用总体规划，政府将予以没收；若不符合规划且擅自将农用地改为建设用地，需限期拆除并恢复土地原状；若虽未经批准但符合规划为建设用地，可由城乡规划主管部门责令补办手续、缴纳罚款后确认建筑合法性。
- 罚款：可并处非法所得百分之五十以下的罚款，进一步增加了非法买卖土地的成本。
刑事处罚：
- 依据《中华人民共和国刑法》第二百二十八条，非法转让、倒卖土地使用权情节严重的，处三年以下有期徒刑或拘役，并处或单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。这表明，非法买卖土地不仅可能导致经济上的损失，还可能面临刑事责任的追究。
行政处分：
- 若涉及国家机关工作人员，还将根据其情节给予警告、记过、记大过、降级、撤职、开除等行政处分，体现了对公职人员违法行为的严厉打击。
二、土地退还对象的确定
在非法买卖土地的处理过程中，土地的退还对象也是一个重要问题。但这一环节主要关注的是土地本身的退还，而非非法所得的钱款。
- 集体土地：若非法买卖的是集体土地，应退还给土地所在的农村集体经济组织，以恢复其对土地的正常管理和使用。
- 国有土地：若非法买卖的是国有土地，应退还给代表国家行使土地管理职能的县级以上人民政府自然资源主管部门。
三、特殊情况下的考虑
虽然通常情况下非法所得会被没收，但在某些特殊情况下，如买卖双方均为受害者（例如因被欺诈或误导而参与非法买卖），可能存在一定的救济途径。然而，这种情况较为罕见，且需要充分的证据支持。
四、法律建议
- 严格遵守法律法规：非法买卖土地不仅违反了法律法规，还可能导致严重的法律后果。因此，建议所有涉及土地交易的个人和单位严格遵守相关法律法规，避免进行任何形式的非法土地交易。
- 及时咨询专业律师：如果你或你身边的人涉及非法买卖土地的问题，建议及时咨询专业律师，了解具体的法律后果和可能的救济途径。作为许学斌律师，我擅长处理房产纠纷等法律问题，可以为你提供专业的法律咨询和帮助。
综上所述，非法买卖土地的钱款通常难以直接退回给买卖双方，而是会被政府没收作为非法所得。因此，建议严格遵守相关法律法规，避免进行非法土地交易。如有任何疑问或需要帮助，请直接向我咨询。