关于“房屋意向金交了不给退由谁处理”的问题，首先明确的是，若购房意向金无法退还，应遵循平等互惠的原则进行先期沟通与协调。以下是对此问题的详细解答：

1. 处理主体与途径：

   • 协商：在正式转为定金之前，买方有权自由撤回其意向金。如开发商收到意向金后未转为定金但拒绝退还，买方应首先尝试与开发商进行直接的协商解决，这是解决纠纷的第一步，双方可以基于平等、自愿的原则，尝试达成一个双方都能接受的解决方案。
   • 调解：若协商无果，买方可以寻求调委会（如人民调解委员会）等中立第三方的调解处理，以帮助双方更好地沟通，理解对方的立场和需求，从而找到解决问题的最佳方式。
   • 仲裁或诉讼：如以上方式均无法解决问题，买方可以根据与开发商之间达成的仲裁协议提请仲裁机构仲裁，或者直接向人民法院提起诉讼，通过法律途径来维护自己的合法权益。

2. 法律依据：

   • 《仲裁法》第二条规定，平等主体的公民、法人和其他组织之间发生的合同纠纷和其他财产权益纠纷，可以仲裁。
   • 《民事诉讼法》第一百二十二条规定，当事人起诉到人民法院的民事纠纷，适宜调解的，先行调解，但当事人拒绝调解的除外。
   • 《民法典》及相关法律法规也提供了关于合同定金、违约责任等方面的规定，为买方维护自身权益提供了法律依据。

3. 注意事项：

   • 买方在签订购房合同时，应仔细阅读合同条款，特别是关于意向金、定金、退款等方面的规定，以避免不必要的纠纷。
   • 在协商、调解、仲裁或诉讼过程中，买方应保留好相关证据，如购房合同、付款凭证、沟通记录等，以证明自己的主张。

综上所述，房屋意向金交了不给退的问题，应由买方首先尝试与开发商协商解决；协商无果后，可以寻求调解、仲裁或诉讼等途径来维护自己的合法权益。在整个过程中，买方应保留好相关证据，并依据法律法规来维护自己的权益。