当合同无效时，居间费的返还问题并不能一概而论，而是需要根据具体情况来确定。以下是对此问题的详细分析：
合同无效的法律后果：
- 根据《民法典》的相关规定，合同无效后，因该合同取得的财产应当予以返还。因此，若居间合同被认定无效，居间人基于该合同获得的居间费，原则上应当退还。
考虑居间人的劳务付出：
- 如果居间人在促成合同成立的过程中付出了劳务且有实际损失，例如进行了前期的信息收集、四处打听合适的交易信息，还花费时间和精力进行沟通协调等，那么委托人需根据双方的过错程度，按照公平原则给予居间人适当补偿，而非全额退还居间费。
法院判定方式：
- 在实际案例中，法院会综合考虑各种因素，如居间人的劳务付出、委托人的损失、双方的过错程度等，来酌情判定居间费的具体退还金额。
特殊情况下的处理：
- 如果居间人故意隐瞒重要事实或提供虚假情况，损害委托人利益，那么不仅不得要求支付报酬，已收取的居间费也应当退还，并可能需要承担损害赔偿责任。
综上所述，合同无效时居间费的返还问题需要根据具体情况来判断。如果居间合同被认定无效，且居间人没有故意隐瞒或提供虚假情况，那么居间费原则上应当退还，但也需要考虑居间人的劳务付出和实际损失。如果双方无法协商一致，可以诉至法院，由法院根据具体情况来判定。