结论：关于你亲哥与堂兄弟拿爷爷的土地和你的亲弟弟互换是否合法，以及是否可以要回的问题，这主要取决于互换行为是否符合法律规定，特别是是否侵犯了其他家庭成员的合法权益，以及互换行为是否已经完成了法律上的确认。以下从几个方面进行详细分析：

1. 土地互换的合法性：

   • 土地权属：首先，需要明确爷爷的土地是否属于其个人财产，且爷爷是否有权进行处分。如果土地是爷爷的个人财产，且他有权进行处分，那么理论上他可以与他人进行土地互换。但需注意，如果土地是家庭共有财产，那么爷爷单方面的处分行为可能无效，需要得到其他共有人的同意。
   • 互换协议：土地互换应当签订书面协议，明确互换的土地位置、面积、互换期限等关键条款。如果互换行为没有签订书面协议，或者协议内容存在瑕疵，那么互换行为的合法性可能会受到质疑。
   • 法律程序：土地互换可能还需要经过相关部门的审批或登记，以确保互换行为的合法性和有效性。如果未经审批或登记，互换行为可能无法得到法律的认可。

2. 是否可以要回土地：

   • 互换行为的无效性：如果土地互换行为存在上述合法性瑕疵，如未经其他共有人同意、未签订书面协议、未经审批或登记等，那么互换行为可能被视为无效。在这种情况下，你可以向法院提起诉讼，要求确认互换行为无效，并恢复原状，即要回原本属于你的土地。
   • 互换行为的撤销权：即使土地互换行为在形式上合法，但如果存在欺诈、胁迫等情形，导致一方在违背真实意思的情况下进行了互换，那么受损害方也有权在法定期限内行使撤销权，要求撤销互换行为并要回土地。但需注意，撤销权的行使需要在法定期限内提出，并需要提供充分的证据证明存在欺诈、胁迫等情形。
   • 实际占有与使用：如果土地互换行为已经完成，且对方已经实际占有和使用了土地，那么要回土地可能会面临一定的困难。在这种情况下，你需要通过法律途径来维护自己的权益，如提起诉讼要求确认互换行为无效或撤销互换行为，并要求对方返还土地。但需注意，即使法院判决支持你的诉求，实际执行过程中也可能面临一定的挑战。

3. 建议与措施：

   • 收集证据：如果你认为土地互换行为存在合法性瑕疵或欺诈、胁迫等情形，那么你需要尽快收集相关证据，如书面协议、证人证言、录音录像等，以支持你的诉求。
   • 咨询专业律师：在处理此类复杂法律问题时，建议你咨询专业律师的意见。律师可以根据你的具体情况和当地法律法规，为你提供针对性的法律建议和解决方案。
   • 提起诉讼：如果协商无果或对方拒绝返还土地，你可以向法院提起诉讼，要求确认互换行为无效或撤销互换行为，并要求对方返还土地。在诉讼过程中，你需要积极配合法院的工作，提供充分的证据来支持你的诉求。

总结：土地互换行为的合法性和是否可以要回土地取决于多种因素，包括土地权属、互换协议、法律程序以及是否存在欺诈、胁迫等情形。如果你认为自己的权益受到了侵害，建议你尽快收集证据并咨询专业律师的意见，以便采取合适的法律措施来维护自己的权益。