结论：是否可以不归还土地取决于换地行为的法律性质及是否满足相关法定条件，若换地行为合法有效且无解除事由，则需归还；若存在无效或可撤销情形，则可能无需归还。以下为具体分析：

1. 换地行为的法律性质

   • 合法换地：如果双方换地行为是基于自愿、平等、公平的原则，并且已经完成了土地交付使用，同时符合当地土地管理法规关于土地流转的规定（如经过相关部门批准或备案），那么这种换地行为在法律上是有效的。在这种情况下，如果对方要求换回土地，且没有法定或约定的解除事由，你通常有义务归还土地，因为土地的所有权或使用权已经通过合法方式转移给了对方。
   • 非法换地：如果换地行为违反了法律法规的强制性规定，如未经批准擅自转让土地使用权、违反土地用途管制等，那么这种换地行为在法律上是无效的。在这种情况下，对方虽然持有土地证，但由于换地行为本身违法，其要求换回土地的请求可能不会得到法律的支持。然而，这并不意味着你可以继续占有和使用该土地，因为非法占有的土地可能会被相关部门依法收回。

2. 土地证的法律效力

   • 土地证是土地所有权或使用权的法律凭证。如果对方持有有效的土地证，并且该土地证上的信息与换地行为涉及的土地一致，那么对方在法律上对该土地享有相应的权利。但是，土地证本身并不直接决定换地行为的合法性或有效性，它只是证明土地权利归属的一种法律文件。

3. 换地协议的约定

   • 如果双方在换地时签订了书面协议，并且协议中明确约定了换地的期限、条件、违约责任等事项，那么这些约定将对双方产生法律约束力。如果对方要求换回土地违反了协议中的约定，你可以依据协议拒绝其请求。但是，如果协议中存在违法或显失公平的条款，这些条款可能会被法院认定为无效。

4. 实际操作建议

   • 审查换地行为的合法性：首先，你需要审查自己与对方之间的换地行为是否合法有效。这包括审查换地行为是否符合当地土地管理法规的规定、是否经过了相关部门的批准或备案等。
   • 查阅换地协议：如果双方签订了书面协议，你需要仔细查阅协议中的条款，特别是关于换地期限、条件、违约责任等方面的约定。
   • 咨询专业意见：如果你对换地行为的合法性或协议条款的有效性存在疑问，建议咨询专业的法律人士或土地管理部门，以获取更准确的法律意见和指导。
   • 协商解决：在明确双方的权利义务后，你可以尝试与对方进行协商，寻求一个双方都能接受的解决方案。如果协商无果，你可以考虑通过法律途径解决争议。