结论概述：在建设工程居间合同中，若工程未进场施工，已收取的居间费是否可以只退回部分，这并非一个简单的“是”或“否”的问题，而是需要根据居间合同的具体条款、双方当事人的约定以及实际履行情况来综合判断。以下是从不同角度进行的分析：
合同条款的约定：
- 居间合同内容：首先，需要审查居间合同中关于居间费支付条件、退款条件以及违约责任的具体条款。如果合同中明确规定了在工程未进场施工的情况下，居间费应全额或部分退还，那么双方应按照合同约定执行。
- 双方协商：如果合同中没有明确规定，或者规定不明确，双方可以协商解决。在协商过程中，可以考虑居间人已经提供的服务内容、实际发生的费用以及双方当事人的过错程度等因素，来确定是否退还以及退还的比例。
实际履行情况：
- 居间人服务：如果居间人已经为促成合同成立而付出了努力，并提供了相应的服务（如介绍工程信息、协助谈判等），即使工程最终未进场施工，居间人也有权要求获得一定的报酬。但具体报酬数额应根据实际服务内容和效果来确定。
- 委托人过错：如果工程未进场施工是由于委托人的原因（如资金不足、项目取消等）导致的，那么委托人可能需要承担一定的违约责任，包括支付部分或全部居间费。反之，如果居间人存在过错（如提供虚假信息、未履行协助义务等），则可能需要退还部分或全部居间费。
法律原则与规定：
- 公平原则：在处理居间费退还问题时，应遵循公平原则，根据双方当事人的实际情况和过错程度来合理分配责任和利益。
- 法律规定：虽然《民法典》等法律法规对居间合同有一般性规定，但具体到居间费的退还问题，还需要结合合同的具体条款和实际情况来判断。如果合同中没有明确规定，且双方无法协商一致，那么可能需要通过诉讼或仲裁等法律途径来解决争议。
法律建议：
- 审查合同：建议双方首先审查居间合同的具体条款，明确各自的权利和义务。
- 协商解决：在合同没有明确规定或规定不明确的情况下，双方应积极协商解决争议，以达成互利共赢的结果。
- 寻求法律帮助：如果协商无果，双方可以寻求法律帮助，通过诉讼或仲裁等法律途径来维护自己的合法权益。
可能后果：
- 如果居间人拒绝退还居间费，而委托人认为居间人存在过错或合同中有相关退款条款，委托人可以通过法律途径要求居间人退还部分或全部居间费。
- 如果居间人已经提供了相应的服务，且合同中没有明确规定退款条款，居间人可能有权要求获得一定的报酬，但具体数额需要根据实际情况和公平原则来确定。
总之，在处理此类问题时，应综合考虑合同条款、实际履行情况以及法律原则与规定等因素，以做出合理、公正的判断。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。