结论：土地确权到你名下后，对方一般不能随意要回，但存在特殊情形时可能面临土地被收回或权利受影响，具体需分情况讨论。以下从不同角度为你详细分析：
1. 若确权程序合法合规，对方无权要回
土地确权是行政机关依法对土地权属进行确认并登记的行为，具有法定效力和公信力。若确权过程中：
- 程序合法：包括土地权属来源清晰（如通过合法继承、转让、承包等取得）、公示无异议、登记手续完备等；
- 实体合法：土地权属无争议（如不存在重复确权、侵占他人土地等情形），且符合土地管理法律法规（如《土地管理法》《农村土地承包法》等）的规定。
结果：确权行为合法有效，土地使用权归你所有，对方无权仅凭单方主张要回土地。若对方强行占用或干扰使用，你可通过法律途径（如起诉排除妨害、确认物权）维护权益。
2. 若确权存在程序或实体瑕疵，可能面临土地被收回或权利受影响
若确权过程中存在以下情形，对方可能通过行政或司法途径主张撤销确权或调整权属：
- 程序瑕疵：如未依法公示、未通知利害关系人参与确权程序、登记材料造假等；
- 实体瑕疵：如土地权属来源不合法（如通过欺诈、胁迫、恶意串通等手段取得）、土地存在争议未解决（如对方能证明其对土地有合法权属主张）、违反法律强制性规定（如确权土地属于国家禁止流转的范畴）。
结果：对方可向行政机关申请撤销确权登记，或通过行政诉讼起诉确权行为违法；若法院或行政机关认定确权违法，土地可能被收回或重新确权。
3. 若存在特殊约定或法律规定的收回情形，土地可能被依法收回
即使确权合法，以下情形下土地仍可能被收回：
- 约定收回：如你与对方（如转让人、出借人）存在书面或口头约定，明确在特定条件下（如期限届满、用途变更等）需返还土地；
- 法定收回：根据《土地管理法》《农村土地承包法》等规定，若土地被征收、征用（如因公共利益需要建设基础设施），或你存在违法使用土地的行为（如改变土地用途、破坏土地资源等），行政机关可依法收回土地。
结果：土地被收回时，你可能有权获得相应补偿（如征收补偿），但需以法律规定或合同约定为前提。
行动建议
- 核查确权材料：检查土地确权登记证书、权属来源证明（如承包合同、转让协议）、确权程序文件（如公示记录、听证材料）等，确认确权是否合法合规；
- 收集证据：若对方主张要回土地，要求其提供权属证明或确权违法的证据（如其他权属证书、确权程序违法证明）；
- 咨询专业律师：若对方行为已影响你的土地使用，或你怀疑确权存在瑕疵，可向我进一步咨询，我将结合具体证据和法律规定，为你制定维权或应对方案。