双方互拿差东西不归还，这种行为是否违法以及如何处理，需要分情况讨论：

1. 若双方互拿的“差东西”具有明确的财产价值，且双方存在明确的借用或保管关系：

   • 违法性分析：根据《中华人民共和国民法典》的相关规定，如果一方在借用或保管期间，未经对方同意，擅自将对方财物占为己有且拒不归还，这构成了对对方财产权的侵害，属于违法行为。在此情境下，双方如果都存在这样的行为，那么双方都可能构成违法。
   • 处理方式：双方应首先尝试通过协商解决，明确各自应归还的财物，并设定合理的归还期限。如果协商无果，受损方可以向人民法院提起诉讼，要求对方归还财物或赔偿损失。在诉讼过程中，需要提供充分的证据证明对方存在侵占行为，如聊天记录、证人证言、财物价值证明等。

2. 若双方互拿的“差东西”价值不高，或双方并未形成明确的借用或保管关系，而是基于某种玩笑或误会：

   • 违法性分析：在这种情况下，由于财物价值不高或双方并未形成明确的法律关系，因此可能不构成违法行为。但这并不意味着双方可以无限期地占有对方财物，因为这仍然可能侵犯对方的财产权益。
   • 处理方式：双方应尽快通过沟通解决误会，明确各自应归还的财物。如果双方能够达成一致，可以自行交换归还；如果无法达成一致，可以考虑通过第三方调解或寻求法律援助的方式解决。虽然这种情况可能不构成法律上的违法行为，但为了避免不必要的纠纷和损失，建议双方还是尽快解决为宜。

额外建议：

• 保留证据：无论哪种情况，都建议双方保留好相关证据，如聊天记录、照片、视频等，以便在需要时证明自己的权益。
• 增强法律意识：在日常生活中，我们应该增强法律意识，尊重他人的财产权益，避免因为一时的贪念或误会而引发不必要的法律纠纷。
• 及时沟通：如果双方之间存在任何误会或纠纷，应及时沟通解决，避免问题恶化。

若双方无法自行解决纠纷，建议寻求法律援助或咨询专业律师（即向我咨询），以便更好地维护自己的合法权益。在处理此类纠纷时，保持冷静和理性至关重要，通过合法途径解决问题才是最佳选择。