结论：自留地互换20年后，对方是否可以擅自转让给第三方耕种，不能一概而论，需结合互换协议约定、是否办理登记、当地政策规定等因素综合判断。以下分情况详细说明：
1. 若互换协议有明确约定，按约定处理
- 如果双方在互换时签订了书面协议，且协议中明确约定了互换期限（如20年）、互换后的土地使用权归属（如“互换期间双方不得擅自转让”或“互换后土地使用权归对方所有”），则需严格按协议执行。
- 若协议禁止转让：对方擅自转让给第三方的行为构成违约，您有权要求对方停止转让、恢复原状，甚至通过法律途径主张赔偿。
- 若协议未禁止转让：对方可能有权转让，但需注意是否违反其他法律规定（如土地用途管制、集体经济组织成员资格等）。
2. 若互换未签订书面协议，但实际履行超过20年
- 根据《民法典》及相关司法解释，土地互换未签订书面协议，但一方已实际占有、使用土地超过20年，且对方未提出异议的，可能视为双方形成“事实互换关系”。
- 在此情况下：对方是否可以转让需结合当地政策判断。若当地政策允许互换后的土地使用权流转（如通过集体经济组织同意），则对方可能有权转让；若政策禁止或限制流转，则对方擅自转让可能无效。
3. 若互换后未办理土地使用权变更登记
- 土地互换涉及使用权变更的，建议办理登记手续（如农村土地承包经营权变更登记）。未登记的，虽不影响互换合同的效力，但可能影响对抗第三人的效力。
- 若未登记：对方擅自转让给第三方后，若第三方属于善意取得（如不知情、支付合理对价、已实际占有土地），您可能难以直接追回土地，但可向对方主张违约责任。
4. 特殊情形：自留地的性质限制
- 自留地通常属于集体所有，农户仅享有使用权。若当地政策对自留地流转有特殊限制（如仅限本集体经济组织成员之间互换、禁止转让给非成员等），则对方擅自转让给第三方可能因违反政策而无效。
行动建议
- 核查互换协议：优先查看双方是否签订书面协议，以及协议中的具体约定。
- 咨询当地政策：向村委会、乡镇政府或农业农村部门了解自留地流转的当地规定。
- 收集证据：若对方擅自转让，保留互换协议、土地使用凭证、对方转让的证据（如合同、收款记录等）。
- 协商或诉讼：根据情况与对方协商解决，或通过法律途径主张权利（如确认转让无效、要求赔偿等）。
如有进一步疑问，可直接向我咨询，我会结合您的具体情况提供更详细的法律分析。