结论：能否换回土地需分情况讨论，主要取决于双方是否协商一致以及原交换协议的具体约定。
若双方协商一致，可以换回土地
- 土地交换本质上是一种民事法律行为，基于双方自愿原则。如果现在双方都同意将土地换回，并且没有违反法律法规的强制性规定（比如，没有损害国家、集体或第三人的利益），那么这种换回行为是合法有效的。你们可以签订一份书面的换回协议，明确双方的权利义务，包括土地的交付时间、方式等，以避免未来可能出现的纠纷。
若双方协商不一致，需根据原交换协议的约定处理
- 原协议有明确约定：如果你们在40年前交换土地时签订了书面协议，并且协议中明确约定了在某种条件下可以换回土地，那么现在你可以依据协议中的约定来主张换回土地。但如果协议中没有相关约定，或者约定不明确，那么就需要进一步分析其他因素。
- 原协议无明确约定或未签订协议：在这种情况下，换回土地可能会比较困难。因为土地交换已经完成了40年，并且现在土地已经确权在你名下，这在一定程度上表明了土地权属的变更已经得到了法律的认可。如果你想要换回土地，可能需要证明存在某些特殊情况（比如，交换时存在欺诈、胁迫等情形），但这需要充分的证据支持，并且最终是否能够换回还需要法院或相关部门的裁决。
建议：
- 协商解决：首先尝试与对方进行协商，看是否能够达成换回土地的共识。协商是解决纠纷最快捷、最经济的方式。
- 查阅原协议：如果可能的话，查找并查阅40年前交换土地时的协议，了解其中是否有关于换回土地的约定。
- 寻求法律帮助：如果协商无果，或者对原协议的解读存在争议，建议寻求专业的法律帮助。我可以根据你的具体情况，为你提供更详细的法律建议和解决方案。