核心结论：土地互换没有协议书且对方已盖房的情况下，您可通过协商、行政投诉或法律诉讼等途径解决，具体需结合土地性质、互换事实及对方行为合法性综合判断。以下是分情况说明：

1. 若土地互换事实明确，但缺乏书面协议

• 法律分析：根据《民法典》第143条，民事法律行为有效需满足“行为人具有相应民事行为能力、意思表示真实、不违法违规”三要件。即使无书面协议，若双方长期实际履行互换（如耕种、管理对方土地），可视为通过行为达成合意，形成事实合同关系。
• 处理建议：
  • 收集证据：证明互换事实，如证人证言（邻居、村干部）、土地使用记录（耕种痕迹、纳税凭证）、通讯记录（短信、微信中承认互换的对话）等。
  • 协商解决：与对方沟通，要求其停止建房或补偿损失，可邀请村委会/居委会介入调解。
  • 行政投诉：若对方建房未办理审批手续（如乡村建设规划许可证），可向当地自然资源局或乡镇政府举报，要求拆除违章建筑。

2. 若对方建房行为违法（如占用耕地、超面积建设）

• 法律分析：根据《土地管理法》第77条，未经批准非法占用土地建房的，由县级以上政府自然资源主管部门责令退还土地，限期拆除新建房屋。若土地为耕地，还可能涉及《刑法》第342条非法占用农用地罪（需达到“数量较大、造成耕地严重破坏”标准）。
• 处理建议：
  • 向自然资源部门举报：提交对方违法建房的证据（如现场照片、土地性质证明），要求行政机关查处。
  • 提起民事诉讼：若对方行为导致您土地权益受损，可起诉要求返还土地、赔偿损失（需证明损失金额，如土地收益减少、建房成本等）。

3. 若对方建房已合法审批（如取得宅基地使用权证）

• 法律分析：若对方通过合法程序取得建房许可，且互换行为未被认定有效，您可能面临土地权属争议。此时需通过行政确权或民事诉讼解决。
• 处理建议：
  • 申请土地权属确权：向县级政府申请土地权属争议调查处理，由政府作出确权决定。
  • 起诉确认互换合同效力：若能证明互换是双方真实意思表示，可起诉要求确认合同有效，并要求对方履行义务（如停止建房、返还土地）。

4. 关键风险提示

• 诉讼时效：若通过诉讼解决，需注意《民法典》第188条规定的3年诉讼时效（自知道权利受损之日起算），逾期可能丧失胜诉权。
• 证据保留：务必保存所有与互换、建房相关的证据，避免因证据不足导致败诉。

行动建议：

1. 立即收集证据（如证人、土地使用记录）；
   
2. 尝试与对方协商或通过村委会调解；
   
3. 若协商无果，根据对方建房合法性选择向行政部门投诉或提起诉讼。
   

如有进一步问题（如证据收集细节、诉讼流程），可直接向我咨询，我将结合具体案情为您分析。