结论：土地交换四五年后对方要回，在没有合同的情况下，是否有可能要回取决于多种因素，包括交换的性质、是否构成事实上的土地流转关系、当地的风俗习惯以及是否存在其他证据等。以下从不同角度进行分析：

1. 交换性质与事实流转关系：

   • 如果双方之间的土地交换是基于口头协议，并且已经实际履行多年，形成了事实上的土地流转关系，那么对方想要回土地可能面临一定的法律障碍。因为根据一般的法律原则，事实上的行为如果持续一段时间且双方均无异议，可能被视为双方之间的默认协议。
   • 然而，如果交换被认定为临时性的借用或租赁，而非永久性的转让，那么对方在特定条件下（如借用或租赁期限届满）可能有权要求返还土地。

2. 当地风俗习惯与证据：

   • 在农村地区，土地交换有时可能基于当地的风俗习惯或口头约定进行。如果这种交换方式在当地被广泛接受且没有争议，那么它可能具有一定的法律效力。
   • 但无论如何，口头协议在法律上往往难以证明。如果对方想要回土地，而你无法提供足够的证据（如证人证言、交易记录等）来证明交换的存在和性质，那么对方的要求可能更容易得到支持。

3. 法律后果与建议：

   • 如果对方坚持要回土地，并且双方无法达成一致意见，那么可能需要通过法律途径解决争议。在这种情况下，法院将根据双方提供的证据和法律规定来裁决土地的归属。
   • 建议：首先尝试与对方进行友好协商，看是否能够达成一个双方都能接受的解决方案。如果协商无果，你可以考虑收集相关证据（如证人证言、交易记录、当地风俗习惯的证明等）来支持你的立场。同时，你也可以咨询当地法律专业人士（比如我，刁成路律师，专注于合同纠纷领域），以获取更具体的法律建议和帮助。

4. 预防措施：

   • 为了避免类似的争议在未来发生，建议在进行任何土地交换或流转时都签订书面合同。合同应明确交换的土地位置、面积、交换期限、双方的权利和义务等关键条款。
   • 书面合同不仅有助于明确双方的权利和义务，还能在争议发生时提供有力的法律证据。

综上所述，土地交换四五年后对方要回的可能性取决于多种因素。在没有合同的情况下，建议你积极收集相关证据并咨询法律专业人士以获取更具体的法律建议。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。