核心结论：是否合理需分情况讨论，主要取决于双方换地行为的法律性质、是否签订书面协议、协议内容以及是否存在法定或约定的解除事由。以下是具体分析：
1. 若换地行为属于土地使用权流转，且已依法办理审批或登记手续
- 法律性质：根据《土地管理法》及《民法典》相关规定，土地使用权流转（如互换、转让）需符合法定条件，例如：
- 集体土地使用权互换需经发包方同意（如村委会）；
- 国有土地使用权互换需依法办理变更登记。
- 合理性分析：
- 若已履行法定程序：双方换地行为合法有效，对方无权单方要求返还，除非存在重大误解、欺诈、胁迫等法定撤销事由，或双方协商一致解除协议。
- 若未履行法定程序：换地行为可能被认定为无效或可撤销，对方有权要求返还土地，但需承担返还厂房的相应责任（如恢复原状或赔偿损失）。
2. 若换地行为属于口头协议或未签订书面合同
- 法律性质：根据《民法典》第469条，口头合同在法律上同样有效，但举证难度较大。
- 合理性分析：
- 若能证明换地事实（如证人证言、录音、过往使用记录等）：对方要求返还需基于合理理由（如协议显失公平、对方急需用地等），否则可能构成违约。
- 若无法证明换地事实：对方可能以“非法占用土地”为由主张权利，此时需结合实际使用情况、双方关系等综合判断。
3. 若换地后厂房建设涉及违法用地或违规建设
- 法律性质：根据《土地管理法》第77条，未经批准非法占用土地建厂房的，可能面临行政处罚（如拆除、罚款）。
- 合理性分析：
- 若厂房建设合法：对方要求返还土地需承担补偿责任（如赔偿厂房建设成本、搬迁费用等）。
- 若厂房建设违法：对方可能以“违法用地”为由要求返还土地，且无需补偿厂房损失，但需通过行政程序（如自然资源部门处罚）或诉讼解决。
4. 其他特殊情形
- 情势变更：如因政策调整（如土地征收、规划变更）导致换地目的无法实现，双方可协商变更或解除协议。
- 继承或转让：若对方已将土地使用权转让给第三人，第三人可能基于善意取得要求返还，但需符合《民法典》第311条规定的条件。
建议行动方案
- 核查换地协议：优先查找书面合同或相关审批文件，明确双方权利义务。
- 收集证据：整理土地使用记录、厂房建设凭证、证人证言等，证明换地事实及合法性。
- 协商或调解：尝试与对方沟通，明确其诉求及依据，争取通过协商解决争议。
- 法律途径：若协商无果，可向法院起诉确认换地协议效力，或主张对方违约责任。
提示：土地纠纷涉及行政、民事多重法律关系，建议根据具体情况进一步分析。如有疑问，可直接向我咨询具体细节。