关于中介费退费的问题，这通常不直接由某一个特定的“部门”来负责退费本身，而是涉及到一系列的解决流程和可能的投诉或诉讼途径。以下是一个清晰、详细、有深度的解答：
首先，当中介费退费问题出现时，您应该首先查看与中介服务公司签订的合同，了解其中关于退费的具体条款和约定。这是解决纠纷的基础，因为合同是双方权利和义务的法律依据。
协商和解：
- 您可以尝试与中介服务公司进行协商，看是否能够就退费问题达成一致。这是最直接、也是成本最低的解决方式。
第三方调解：
- 如果协商无果，您可以考虑委托消费者协会或其他依法成立的调解组织进行调解。这些机构通常具有专业的调解能力和经验，能够帮助双方找到一个合理的解决方案。
仲裁处理：
- 如果中介服务合同中有仲裁约定，您可以根据约定向仲裁机构提请仲裁。仲裁是一种相对快速、高效的解决纠纷方式，其裁决结果通常具有法律约束力。
行政投诉：
- 您还可以向中介公司所在地的工商局、工商所或房管部门等行政部门进行投诉。这些部门有权对中介服务公司的行为进行监管，并可以协调解决纠纷。但需要注意的是，行政部门通常不直接处理退费问题，而是通过协调、调解等方式来推动问题的解决。
民事诉讼：
- 如果以上方式均无法解决问题，您可以考虑向人民法院提起诉讼。这是解决纠纷的最终途径，但也是成本最高、耗时最长的方式。在诉讼过程中，您需要提供充分的证据来支持自己的主张。
关于中介费退费的具体时间，这因情况而异，无法一概而论。它取决于双方协商的结果、调解或仲裁的进程以及诉讼的审理时间等因素。
综上所述，中介费退费问题并不直接由某一个部门来负责退费本身，而是需要通过协商、调解、仲裁或诉讼等途径来解决。在处理这类问题时，建议您保持冷静、理性，并充分了解自己的权利和义务，以便做出最合理的决策。