针对您提出的“房屋交易买方原因终止合同后中介费怎么退还给卖方”的问题，这确实是一个涉及多方面因素的综合判断。以下是我为您详细梳理的解答：

首先，我们要明确的是，在房屋买卖交易中，中介机构的主要职责是提供居间服务，即促成买卖双方签订房屋买卖合同。一旦合同签订，通常意味着中介已经完成了其主要的服务内容。

一、一般情况下的中介费退还原则

在大多数情况下，如果中介已经按照约定完成了促成交易的主要义务，即使后续房屋买卖合同因买方原因（非中介过错）而解除，中介通常是有权不退还中介费的。这是因为中介的核心工作已经完成，即促成了合同的签订。

二、特殊情况下的中介费退还

然而，也存在一些特殊情况，中介费可能需要全部或部分退还：

1. 中介存在过错：

   • 如果房屋买卖合同的解除是由于中介故意隐瞒重要事实、提供虚假信息或存在其他严重过错行为导致的，那么中介应当退还已收取的中介费，并可能还需要承担相应的赔偿责任。例如，中介明知房屋存在产权纠纷却未告知买方，导致买方解除合同。

2. 不可抗力等不可归责原因：

   • 如果合同解除是由于不可抗力等不可归责于买卖双方及中介方的原因（如政府政策调整、自然灾害等），且中介已经提供了一定的服务，那么可以根据中介的实际工作量，按照公平合理原则，由买卖双方协商分担中介费，或者酌情退还部分中介费。

3. 合同有特别约定：

   • 如果房屋买卖合同或中介服务合同中明确约定了合同解除后中介费的处理方式，那么应当按照合同约定执行。例如，合同中可能约定若因买方违约导致交易无法完成，买方仍需支付全额中介费；或者约定若因特定原因解除合同，中介需退还全部或部分中介费。

4. 部分未完成服务：

   • 如果中介虽然促成了合同签订，但在合同解除前还有部分约定的服务尚未完成（如协助办理贷款手续、过户手续等），且该部分服务对应的费用能够明确区分，那么对于未完成服务部分对应的中介费，中介应当予以退还。

三、建议与总结

在实际操作中，我建议您在签订房屋买卖合同及中介服务合同时，尽量明确中介费退还的相关条款，以减少后续纠纷的发生。同时，如果遇到中介费退还问题，您可以先与中介机构进行协商，看是否能够达成一致意见。如果协商无果，您可以咨询专业律师，根据具体情况进行合法合理的处理。

总之，房屋买卖合同解除后中介费的退还问题需综合考虑多种因素，包括合同解除的原因、中介服务的内容、相关法律法规以及合同的具体约定等。希望我的解答能够对您有所帮助。