结论：是否需要退还居间费，需根据居间合同的具体约定、居间人是否履行了合同义务以及施工人未按时间进场的具体原因等因素综合判断。以下从不同角度进行分析：
一、居间合同的具体约定
合同条款明确：如果居间合同中明确约定了居间费的支付条件，包括施工人必须按时间进场等，且施工人未按时间进场导致项目被解除合同，那么根据合同条款，居间人可能无权要求支付全部或部分居间费，甚至可能需要退还已收取的居间费。
合同条款模糊：如果居间合同中未明确约定居间费的支付条件或条件较为模糊，那么需要结合居间人是否实际履行了居间义务、施工人未按时间进场的具体原因等因素进行综合判断。
二、居间人是否履行了合同义务
完全履行义务：如果居间人已经按照合同约定，为委托人提供了订立合同的机会或者媒介服务，且施工人未按时间进场并非由于居间人的过错导致，那么居间人有权要求支付居间费，且无需退还。
未履行或未完全履行义务：如果居间人未按照合同约定履行居间义务，或者施工人未按时间进场是由于居间人的过错导致（如居间人提供的施工人信息不实、居间人未协调好各方关系等），那么居间人可能无权要求支付居间费，甚至可能需要退还已收取的居间费。
三、施工人未按时间进场的具体原因
施工人自身原因：如果施工人未按时间进场是由于其自身原因导致（如施工人资金不足、施工队伍未到位等），且该原因与居间人无关，那么居间人有权要求支付居间费，且无需退还。
委托人或第三方原因：如果施工人未按时间进场是由于委托人或第三方的原因导致（如委托人变更施工要求、第三方阻挠施工等），且该原因与居间人无关，那么居间人同样有权要求支付居间费，且无需退还。但在此情况下，如果居间合同中有相关约定，可能需要根据约定进行处理。
不可抗力或意外事件：如果施工人未按时间进场是由于不可抗力或意外事件导致（如自然灾害、政策变化等），且该原因与居间人无关，那么居间人是否有权要求支付居间费，可能需要根据居间合同的具体约定以及公平原则进行综合判断。
四、法律建议
审查居间合同：首先，应仔细审查居间合同的具体条款，明确居间费的支付条件、居间人的义务以及违约责任等。
收集证据：其次，应收集相关证据，包括居间合同、施工人未按时间进场的证据、居间人履行居间义务的证据等，以便在争议发生时能够证明自己的主张。
协商或诉讼：最后，如果双方无法就居间费的退还问题达成一致意见，可以考虑通过协商或诉讼的方式解决争议。在协商或诉讼过程中，应充分阐述自己的理由和证据，以维护自己的合法权益。
总结：是否需要退还居间费是一个复杂的问题，需要根据居间合同的具体约定、居间人是否履行了合同义务以及施工人未按时间进场的具体原因等因素进行综合判断。如果您在此方面遇到法律问题，可以直接向我咨询，我会根据您的具体情况提供详细的法律建议。