关于甲方迟迟不施工，居间费是否需要退还的问题，这主要取决于居间合同的约定以及相关法律法规的规定，以下分情况讨论：
居间合同有明确约定：
- 如果居间合同中明确规定了，在甲方迟迟不施工的情况下，居间费的处理方式（如全额退还、部分退还或不予退还），那么应当按照合同约定来执行。合同是双方意思自治的体现，只要合同内容不违反法律法规的强制性规定，就应当受到法律的保护。
居间合同无明确约定：
- 若居间人已促成合同成立：根据《中华人民共和国民法典》的相关规定，居间人促成合同成立的，委托人应当按照约定支付报酬。在此情况下，即使甲方迟迟不施工，只要居间人已经完成了其促成合同成立的义务，那么居间费一般是不需要退还的。因为居间人的主要义务是提供媒介服务，促成双方签订合同，而合同的履行（如施工）则是合同双方（甲方和乙方）之间的义务。
- 若居间人未促成合同成立：如果居间人未能促成合同成立，那么根据法律规定，居间人不得请求支付报酬。但在此情况下，如果居间人已经为促成合同成立而付出了必要的费用，如差旅费、调查费等，这些费用可以要求委托人承担。不过，这并不意味着居间费（如果已收取）需要全额退还，而是需要根据实际情况和双方协商来确定退还的金额。
- 特殊情况下的考量：如果甲方迟迟不施工是由于居间人的过错或欺诈行为导致的，那么居间人可能需要承担一定的法律责任，包括退还已收取的居间费。这需要根据具体的过错程度和欺诈情节来判断。
法律建议：
- 在签订居间合同时，建议明确约定在甲方迟迟不施工等特定情况下的居间费处理方式，以避免后续纠纷。
- 如果发生纠纷，建议双方首先通过协商来解决。协商不成的，可以寻求法律途径来维护自己的合法权益。
- 在处理此类纠纷时，建议咨询专业律师的意见，以便更准确地理解法律规定和合同条款，从而制定更合理的维权策略。
可能法律后果：
- 如果居间人违反合同约定或法律规定，可能需要承担退还居间费、赔偿损失等法律责任。
- 如果委托人无正当理由拒绝支付居间费或要求退还已支付的居间费，居间人也有权通过法律途径来维护自己的合法权益。
总结来说，甲方迟迟不施工是否需要退还居间费，取决于居间合同的约定以及相关法律法规的规定。在处理此类问题时，建议双方首先查阅合同条款，了解各自的权利和义务；如果合同无明确约定或存在争议，建议咨询专业律师的意见，以便更准确地处理纠纷。有问题可以直接向我咨询。