结论前置：介绍费是否退还，需根据介绍人与施工方之间的约定以及介绍费的具体性质来判断。若介绍费被明确约定为居间成功后的报酬，且施工方因自身原因不愿继续施工，介绍费一般不予退还；但若介绍费仅为介绍机会的费用，并未明确与施工成功挂钩，或介绍人存在过错导致施工无法进行，则介绍费可能需要退还。
分析说明：
介绍费的性质：
- 若介绍费被双方明确约定为居间成功（即促成施工合同成立）后的报酬，那么介绍人的主要义务是促成施工合同的成立。一旦施工合同成立，介绍人即完成了其义务，此时施工方因自身原因不愿继续施工，并不影响介绍人已经完成的居间服务，因此介绍费一般不予退还。
- 若介绍费仅为介绍施工机会的费用，并未明确与施工成功挂钩，那么介绍人的义务可能仅仅是提供施工机会或信息。在这种情况下，如果施工方因介绍人提供的信息不准确或存在其他过错导致无法继续施工，介绍费可能需要退还。
双方约定：
- 双方之间关于介绍费的约定是判断介绍费是否应退还的重要依据。如果双方在合同中明确约定了介绍费退还的条件和情形，那么应按照合同约定执行。
- 如果双方没有明确的书面约定，但根据双方的口头约定或交易习惯，可以推断出介绍费的性质和退还条件，那么也应按照这些约定或习惯来处理。
过错责任：
- 如果介绍人在提供介绍服务过程中存在过错，如提供虚假信息、隐瞒重要事实等，导致施工方无法继续施工或遭受损失，那么介绍人可能需要承担过错责任，包括退还介绍费或赔偿损失。
法律建议：
- 在处理此类纠纷时，建议首先查看双方之间关于介绍费的书面约定，明确介绍费的性质和退还条件。
- 如果双方没有明确的书面约定，可以尝试通过沟通或协商来解决问题。协商时，应充分考虑双方的利益诉求和实际情况，寻求一个公平合理的解决方案。
- 如果协商无果，可以考虑通过法律途径来维护自己的权益。在提起诉讼前，建议咨询专业律师，了解相关法律规定和诉讼程序，以确保自己的诉讼请求得到支持。