结论：工程投标费退下来后中间人不退，不一定能直接告其诈骗，需根据具体情况判断是否构成诈骗罪或属于民事纠纷，并采取相应的法律措施。
分析说明：
诈骗罪的构成要件：
- 诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。
- 若中间人以非法占有为目的，虚构事实或隐瞒真相，如谎称投标费已用于特定用途无法退还，而实际上却将款项据为己有，且数额较大，则可能构成诈骗罪。
民事纠纷的可能性：
- 如果中间人并未以非法占有为目的，而是由于某种原因（如资金周转困难、合同条款理解差异等）暂时无法退还投标费，或者双方对投标费的退还存在争议，那么这更可能属于民事纠纷范畴。
- 在这种情况下，你可以通过民事诉讼途径，如起诉中间人要求返还投标费及可能的利息或损失赔偿。
行动建议：
收集证据：
- 无论选择哪种法律途径，首先都需要收集相关证据，如投标费支付凭证、中间人承诺退还的书面或录音证据、与中间人的沟通记录等。
咨询律师并评估：
- 在采取任何法律行动之前，建议咨询专业律师，详细描述情况并提供收集到的证据。
- 律师将根据你的具体情况，评估是否构成诈骗罪或属于民事纠纷，并给出相应的法律建议。
采取法律措施：
- 如果律师认为构成诈骗罪，且证据充分，你可以向公安机关报案，要求追究中间人的刑事责任。
- 如果律师认为属于民事纠纷，你可以通过民事诉讼途径，向法院起诉中间人要求返还投标费及赔偿损失。
后续考虑：
- 在处理此类纠纷时，保持冷静和理性至关重要。避免与中间人发生不必要的冲突或争执，以免影响证据的收集和法律程序的进行。
- 同时，也要做好心理准备，法律程序可能需要一定的时间和精力投入，且结果并不总是完全符合预期。因此，在采取法律行动之前，要充分考虑各种可能性和风险。
如有进一步疑问或需要更具体的法律建议，请直接向我咨询。