结论：卖了二十年的地被买家确权后，能否要回来需视具体情况而定，主要取决于土地买卖合同的效力、是否违反法律强制性规定以及是否存在其他法定事由导致合同无效或可撤销。以下从不同角度进行分析：
一、合同效力角度
合同有效：
- 如果土地买卖合同是双方真实意思表示，且不违反法律、行政法规的强制性规定（如未违反土地管理法关于土地流转的规定），同时合同已经实际履行（如买家已经支付价款，卖家已经交付土地），那么合同通常是有效的。
- 在这种情况下，卖家难以仅凭“卖了二十年”这一事实主张要回土地，因为合同的有效性和履行情况是判断土地归属的重要依据。
合同无效：
- 如果土地买卖合同违反了法律、行政法规的强制性规定，例如农村集体土地未经法定程序流转给非集体经济组织成员，或者土地买卖行为本身被法律所禁止，那么合同可能是无效的。
- 在合同无效的情况下，卖家可以主张返还土地，但可能需要承担因合同无效而给买家造成的损失赔偿责任。
二、确权程序角度
确权合法：
- 如果买家通过合法程序（如向相关部门申请土地确权登记）获得了土地的使用权或所有权证书，且该确权程序没有瑕疵，那么买家的确权行为是合法的。
- 在这种情况下，卖家要回土地的难度较大，因为买家的确权行为已经得到了法律认可。
确权违法或存在瑕疵：
- 如果买家的确权程序存在违法或瑕疵（如未经合法程序、未提供完整证据材料等），那么卖家可以主张确权行为无效，并要求重新进行确权或恢复原状。
- 在这种情况下，卖家有可能通过法律途径要回土地。
三、其他法定事由角度
欺诈、胁迫等：
- 如果卖家在签订土地买卖合同时受到买家的欺诈、胁迫等不正当手段影响，导致合同内容并非其真实意思表示，那么卖家可以在法定期限内主张撤销合同，并要求返还土地。
显失公平：
- 如果土地买卖合同在订立时显失公平（如价格明显低于市场价），且卖家在法定期限内未行使撤销权，但在后续发现显失公平事实后，仍有可能通过法律途径寻求救济，但这种情况下的救济难度较大。
四、建议与风险提示
收集证据：
- 卖家应尽可能收集与土地买卖合同相关的证据材料（如合同文本、付款凭证、交付证明等），以及确权程序的相关材料（如确权申请书、确权证书等），以便在后续法律程序中证明自己的主张。
咨询专业律师：
- 由于土地买卖和确权问题涉及复杂的法律关系和程序规定，卖家在主张要回土地前应咨询专业律师，了解自己的权利和义务以及可能的法律后果。
谨慎行事：
- 卖家在主张要回土地的过程中应谨慎行事，避免采取过激行为或违反法律规定的行为，以免给自己带来不必要的法律风险。
最后，每个案件的具体情况都有所不同，因此上述分析仅供参考。如果您面临类似问题，建议直接向我咨询，以便根据您的具体情况提供更准确的法律建议。