关于居间费在买卖不成时是否需要退回的问题，这主要取决于居间合同的约定以及相关法律法规的规定，以下分情况讨论：

1. 合同有明确约定：

   • 如果居间合同中明确规定了买卖不成时居间费的退还方式（如全额退还、部分退还或不退还），那么应当按照合同约定来执行。合同是双方意思自治的体现，只要合同内容不违反法律法规的强制性规定，就应当受到法律的保护。

2. 合同无明确约定：

   • 根据《民法典》的相关规定：在居间合同中，居间人的主要义务是向委托人报告订立合同的机会或者提供订立合同的媒介服务。如果居间人已经履行了其义务，但委托人最终未能与第三人订立合同，这通常不构成居间人违约。然而，对于居间费是否退还，法律并未作出明确规定，而是留给了双方当事人自行协商。
   • 实践中的处理原则：在合同无明确约定的情况下，如果居间人已经付出了实质性的努力，如进行了市场调研、提供了多个潜在买家或卖家的信息、协助进行了谈判等，且这些努力与买卖未成交无直接关联（即非因居间人过错导致买卖不成），那么居间人通常有权要求委托人支付一定的居间费用作为补偿。但具体金额和支付方式需要双方协商确定。
   • 特殊情况：如果买卖未成交是由于居间人的过错（如提供虚假信息、隐瞒重要事实等）导致的，那么居间人不仅无权要求支付居间费，还可能需要承担相应的法律责任。

3. 法律建议：

   • 签订合同时明确约定：为了避免纠纷的发生，建议在签订居间合同时就明确约定买卖不成时居间费的退还方式。这样可以在合同履行过程中或履行完毕后有明确的依据可循。
   • 保留相关证据：无论合同是否有明确约定，居间人都应当保留好与居间活动相关的证据（如市场调研报告、潜在买家或卖家的信息、谈判记录等），以便在需要时证明自己的付出和努力。
   • 协商解决：如果买卖未成交且合同无明确约定居间费的退还方式，双方应当首先尝试通过协商来解决纠纷。协商不成的，可以考虑通过法律途径来维护自己的合法权益。

总结来说，居间费在买卖不成时是否需要退回并没有一个固定的答案，而是取决于居间合同的约定以及相关法律法规的规定。因此，在签订居间合同时，双方应当明确约定相关条款以避免纠纷的发生。如果遇到纠纷，建议咨询专业律师以获取更具体的法律建议。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。