关于“地换地的房基地现在对方想要回去是否合法”的问题，结论需要分情况讨论，具体如下：

1. 若双方已签订书面协议并完成权属变更登记

   • 根据《中华人民共和国民法典》第二百零九条，不动产物权的设立、变更、转让和消灭，经依法登记，发生效力。若双方已签订书面换地协议，并依法办理了宅基地使用权变更登记手续，则对方无权单方面要求返还。此时，您可主张协议合法有效，要求对方继续履行或承担违约责任。
   • 例外情形：若协议存在欺诈、胁迫、显失公平等法定可撤销事由，或违反法律强制性规定（如未经集体经济组织同意擅自转让宅基地），则协议可能被认定无效或被撤销，对方有权要求返还。但需由对方举证证明，并经法院或仲裁机构确认。

2. 若双方仅达成口头协议或未完成权属变更登记

   • 根据《中华人民共和国土地管理法》第十四条，宅基地使用权需经依法批准并登记后方可取得。若双方未签订书面协议，或虽签订协议但未办理变更登记，则宅基地使用权仍归原权利人所有。此时，对方要求返还可能具有合法性，但需结合具体事实判断。
   • 关键点：若您已实际占有、使用宅基地多年，且集体经济组织或村民委员会认可换地事实，可能构成“事实上的土地流转”。此时，对方要求返还可能面临道德和实际履行障碍，但法律上仍需通过协商、调解或诉讼解决。

3. 若换地行为违反法律强制性规定

   • 根据《中华人民共和国土地管理法》第六十二条，宅基地使用权不得单独转让，仅限于本集体经济组织成员之间流转，且需符合“一户一宅”原则。若换地行为违反上述规定（如跨集体经济组织转让、受让人已拥有一处宅基地等），则协议可能被认定无效，对方有权要求返还。
   • 例外情形：若换地行为已获得集体经济组织或县级人民政府批准，或符合当地政策允许的例外情形（如因继承、分家析产等），则协议可能有效，对方无权要求返还。

法律建议：

• 核实协议效力：检查双方是否签订书面协议，协议内容是否明确、合法，是否已办理变更登记手续。
• 收集证据：保留换地时的协商记录、证人证言、集体经济组织或村民委员会的认可文件等，以证明换地事实的合法性。
• 协商或调解：尝试与对方协商解决纠纷，或请求集体经济组织、村民委员会或乡（镇）人民政府调解。
• 法律途径：若协商、调解无果，可向农村土地承包仲裁机构申请仲裁，或直接向人民法院起诉，要求确认协议效力或承担违约责任。

风险提示：

• 若换地行为确实存在违法情形（如跨集体经济组织转让、未办理变更登记等），可能面临协议无效、宅基地被收回等风险。
• 若对方已提起诉讼或申请仲裁，您需积极应诉，提交相关证据证明换地事实的合法性，以维护自身权益。

总结：对方能否要求返还宅基地，需结合协议效力、权属变更情况、是否违反法律强制性规定等因素综合判断。建议您根据上述分析，核实具体情况，并采取相应措施维护自身权益。如有进一步疑问，可直接向我咨询。