结论：私下买卖集体土地的协议因违反法律强制性规定而无效，土地能否要回需分情况讨论，且可能面临行政处罚和民事赔偿风险。以下为具体分析：
一、协议无效的法律依据
根据《土地管理法》第二条、第六十三条，集体土地使用权不得出让、转让用于非农业建设（符合规划的乡镇企业、村民住宅等除外）。您提到的“私下买卖集体土地”行为，因违反法律强制性规定，协议自始无效，不产生法律效力。
二、土地能否要回需分情况讨论
若土地未实际交付或对方未使用
因协议无效，您有权要求对方返还土地。但需注意：若对方已支付款项，您可能需返还钱款；若对方因协议产生损失（如准备开发土地的费用），可能需承担部分赔偿责任。
若土地已被对方实际占用或改变用途
您仍可主张返还土地，但需通过法律程序（如起诉确认协议无效、要求返还土地）。若对方已对土地进行建设（如建房、挖塘），可能涉及拆除、恢复原状等问题，需结合具体损失协商或诉讼解决。
若涉及第三方权益
若土地已被转卖或抵押给第三方，情况会更复杂。需先确认第三方是否“善意取得”（即不知情且支付合理对价），若不符合，您仍可主张返还；若符合，可能需通过赔偿解决。
三、潜在法律风险
行政处罚风险
根据《土地管理法》第七十四条，买卖集体土地可能被没收违法所得，并处罚款（罚款幅度为违法所得的10%-50%）。
民事赔偿风险
若对方因协议无效遭受损失（如已支付款项、准备开发的费用），可能要求您赔偿。赔偿范围以“实际损失”为限，需结合双方过错程度分担。
四、建议行动步骤
收集证据
保留协议原件、付款记录、土地现状照片/视频等，证明买卖事实及土地现状。
协商解决
优先与对方沟通，说明协议无效的法律后果，协商返还土地及赔偿事宜。
法律程序
若协商无果，可向法院起诉确认协议无效，要求返还土地；若对方拒不返还，可申请强制执行。
主动配合调查
若国土部门介入调查，需如实说明情况，避免因隐瞒或抗拒处罚加重责任。
提示：集体土地买卖涉及复杂法律问题，建议根据具体情况制定方案。如有疑问，可直接向我咨询，我会结合您的证据和当地政策进一步分析。