非法买卖土地是严重违反我国土地管理法律法规的行为，将面临包括行政处罚、刑事处罚及行政处分在内的严厉制裁。关于非法买卖土地后的退回处理，以下是根据相关法律法规提供的详细解答：
一、非法买卖土地的处理方式
行政处罚：
- 没收违法所得：县级以上人民政府自然资源主管部门将没收通过非法买卖土地获得的金钱收益。
- 建筑物及其他设施处理：
- 若违法建筑符合土地利用总体规划，政府将予以没收。
- 若不符合规划且擅自将农用地改为建设用地，政府将责令限期拆除并恢复土地原状。
- 若建筑虽未经批准但符合建设用地规划，可由城乡规划主管部门责令补办相关手续、缴纳罚款后，确认建筑的合法性。
- 罚款：除上述处理外，还可能并处非法所得百分之五十以下的罚款。
刑事处罚：
- 非法转让、倒卖土地使用权，若情节严重，将依据《中华人民共和国刑法》的相关规定，处三年以下有期徒刑或拘役，并处或单处罚金。情节特别严重的，将处三年以上七年以下有期徒刑，并处罚金。
行政处分：
- 若涉及国家机关工作人员非法买卖土地，还将根据其情节轻重，给予警告、记过、记大过、降级、撤职、开除等行政处分。
二、土地退还对象的确定
- 集体土地：若非法买卖的是集体土地，应退还给该土地所在的农村集体经济组织，以恢复其对土地的正常管理和使用权。
- 国有土地：若非法买卖的是国有土地，应退还给代表国家行使土地管理职能的县级以上人民政府自然资源主管部门。
- 特殊情况处理：
- 若买卖双方均为个人或单位，通常会考虑将土地退还原土地所有者或使用者。
- 涉及政府或其他特殊机构时，需综合考虑土地来源、使用情况、双方意愿及法律法规等因素，确保土地退还的公正性和合理性。
三、实际指导意义与建议
非法买卖土地不仅违反法律法规，还可能导致合同无效，并面临严厉的法律制裁。因此，建议所有涉及土地交易的个人和单位：
- 严格遵守相关法律法规，确保土地交易的合法性和安全性。
- 在进行土地交易前，务必咨询专业律师或法律机构，了解相关法律法规及政策要求。
- 如发现非法买卖土地行为，应及时向相关部门举报，共同维护土地市场的秩序和稳定。
综上所述，非法买卖土地的行为将受到严厉的法律制裁，并需根据具体情况将土地退还给相应的对象。建议所有涉及土地交易的个人和单位严格遵守法律法规，避免进行任何形式的非法土地交易。