您可以不换回土地，但需要注意相关法律规定和潜在风险。

首先，我们来分析案情：

1. 确权证在您名下：这意味着您是该土地的法律权利人，享有对该土地的使用权和其他相关权益。
2. 土地与别人互换且没有合同：互换行为没有书面合同作为证据，这在法律上可能会带来一定的不确定性。

接下来，我们根据相关法律进行分析：

一. 关于土地互换的法律效力

根据《中华人民共和国民法典》第三百六十三条，宅基地使用权的取得、行使和转让，适用土地管理的法律和国家有关规定。同时，《土地管理法》第十二条规定，依法改变土地权属和用途的，应当办理土地变更登记手续。

• 互换行为的法律效力：虽然双方没有签订书面合同，但如果互换行为是双方真实意思表示，且已经实际履行（即双方已经交换了土地并实际使用），那么在法律上，这种互换行为可能是有效的。但是，缺乏书面合同可能会给后续的权利主张带来困难。

二. 您的权利与选择

1. 您有权选择不换回土地：作为土地的确权人，您有权决定是否继续维持互换状态。如果对方没有提出异议或要求换回，您可以继续使用该互换后的土地。

2. 潜在风险：

   • 法律纠纷：如果对方日后提出异议或要求换回土地，由于缺乏书面合同，您可能需要提供其他证据来证明互换行为的存在和有效性。这可能会引发法律纠纷，增加时间和金钱成本。
   • 土地变更登记：如果互换行为未办理土地变更登记手续，那么在法律上，土地的确权人仍然是您。但这并不意味着互换行为无效，只是可能会给后续的权利主张带来不便。

三. 建议与措施

1. 与对方协商：如果对方要求换回土地，您可以与对方进行协商，寻求双方都能接受的解决方案。例如，可以协商继续维持互换状态，或者达成新的协议来明确双方的权利和义务。

2. 补办书面合同：如果双方同意继续维持互换状态，建议补办书面合同来明确双方的权利和义务。合同应详细记录互换土地的位置、面积、用途、互换期限等重要信息，并由双方签字确认。

3. 考虑办理土地变更登记：虽然未办理土地变更登记不影响互换行为的法律效力，但为了减少后续纠纷和不便，您可以考虑与对方共同申请办理土地变更登记手续。

我的观点：您可以根据自己的意愿选择是否换回土地，但为了避免潜在的法律纠纷和不便，建议您与对方进行协商并补办书面合同。同时，如果条件允许，也可以考虑办理土地变更登记手续来明确双方的权利和义务。如有进一步需要，您可以继续咨询我。