结论：能否收回土地需分情况讨论，主要取决于换地协议的法律效力及是否完成法定登记程序。以下是具体分析：
1. 若换地协议未履行法定登记程序（核心前提：未登记）
根据《民法典》第209条，不动产物权的设立、变更、转让和消灭，未经登记不发生效力。农村土地承包经营权属于不动产物权，若双方仅口头协商或签订书面协议但未向发包方（村委会）备案或办理土地承包经营权变更登记，则土地权属未实际转移。此时：
- 原权利人（死亡方家属）可主张收回土地，因协议未完成法定要件，土地仍登记在其名下；
- 子女拒绝继续履行协议的行为合法，无需承担违约责任。
2. 若换地协议已履行法定登记程序（核心前提：已登记）
若双方已向发包方备案并完成土地承包经营权变更登记，则土地权属已合法转移至对方名下。此时：
- 子女无权单方收回土地，因协议已生效且权属已变更；
- 若子女希望收回土地，需与对方协商一致并重新办理变更登记，或通过诉讼主张协议无效/可撤销（需符合法定情形，如欺诈、胁迫、显失公平等）。
3. 特殊情形：协议效力瑕疵（如违反法律强制性规定）
若换地协议存在以下情形，可能被认定无效：
- 违反土地管理法：如将耕地换为建设用地，或未经批准改变土地用途；
- 损害集体利益：如未经村民会议同意擅自交换集体土地；
- 主体不适格：如一方非土地承包经营权人（如城镇居民参与换地）。
此时：
- 子女可主张协议无效，要求恢复土地原状；
- 需通过诉讼确认协议效力，并提供证据证明瑕疵存在。
行动建议
- 核查协议形式：检查是否有书面协议、是否向村委会备案、是否完成变更登记；
- 收集证据：如协议文本、证人证言、登记证明等；
- 协商或诉讼：根据协议效力及登记情况，选择与对方协商或通过法律途径解决。
提示：农村土地问题涉及集体利益和政策限制，建议优先通过村委会调解或咨询专业律师制定具体方案。如有进一步疑问，可直接向我提问。