结论：对方能否要回土地，需结合土地性质、交易合法性及合同履行情况综合判断，以下分情况说明：

1. 若土地为国有建设用地且交易合法
   根据《民法典》第209条，不动产物权变动需依法登记。若您已通过合法程序（如签订买卖合同、缴纳土地出让金、完成过户登记）取得土地使用权证，则对方无权单方收回。即使对方主张合同无效（如存在欺诈、胁迫），也需通过法院或仲裁机构确认，且您有权要求赔偿损失。

2. 若土地为集体所有土地（如宅基地、耕地）
   根据《土地管理法》第62条，农村宅基地使用权仅限本集体经济组织成员享有，且禁止非法转让。若您非该集体成员，或交易未经村委会同意、未办理审批手续，则合同可能被认定无效，对方有权要求返还土地（但需返还您已支付的价款及合理补偿）。
   例外：若您已依法将户口迁入该集体并取得成员资格，或交易经县级政府批准，则合同有效，对方无权收回。

3. 若交易存在违法情形（如未缴清土地出让金、违反规划）
   行政机关可能依据《城乡规划法》第64条或《土地管理法》第77条，责令限期改正、没收违法所得，甚至强制收回土地。此时对方可能以“合同目的无法实现”为由主张解除合同，但需通过法律程序解决。

4. 若对方主张“情势变更”或“显失公平”
   根据《民法典》第533条，若合同履行后出现重大变化（如土地价值暴涨），且继续履行对一方明显不公平，对方可请求法院变更或解除合同。但此类主张需严格证明“情势变更”的客观性和不可预见性，法院支持概率较低。

建议行动：

• 核查土地权属证明（如不动产权证）、交易合同及付款凭证；
  
• 若土地为集体所有，确认您是否具备成员资格及交易审批情况；
  
• 如对方已采取行动（如发函、起诉），立即收集证据并委托律师介入。
  

提示：土地纠纷涉及行政、民事双重法律关系，处理需兼顾实体与程序规则。如有具体材料或细节，可进一步向我说明，我将为您定制解决方案。