针对您提出的问题“托办事的人把钱直接给办事的人，退钱退给中间人，最后告诈骗，那么中间人把钱退了还算诈骗吗”，以下是我的详细解答：

结论前置：仅依据中间人把钱退回这一行为，不能直接判定是否构成诈骗。诈骗的构成有明确要件，需结合具体情况进行综合判断。

详细分析：

1. 诈骗的构成要件：

   • 诈骗需以非法占有为目的，采用虚构事实或隐瞒真相的方法，骗取数额较大的公私财物。
   • 只有满足这些条件，才能认定为诈骗。

2. 中间人退钱的不同情况：

   • 若中间人一开始参与了诈骗行为：
     • 即便之后把钱退回，仍可能涉嫌诈骗，因为其前期的行为已经完成了诈骗的部分构成要件。
     • 例如，中间人虚构了一个项目来骗取钱财，之后虽将钱退回，但诈骗行为实际上已经实施。
   • 若中间人未参与诈骗行为的策划与实施：
     • 若中间人退钱是因为意识到自己的行为不妥，主动去挽回损失，并且没有参与诈骗行为的策划与实施，那可能不构成诈骗。
     • 但具体情况要综合整个事件过程来判断，包括中间人行为的动机、他和诈骗实施者之间的关系、款项的来源以及去向等多方面因素。

3. 法律建议：

   • 在处理此类问题时，应详细了解中间人在整个事件中的角色、行为以及动机。
   • 若中间人确实涉嫌诈骗，应尽快向公安机关报案，并提供相关证据。
   • 若中间人行为不构成诈骗，但存在其他法律纠纷，如合同纠纷或不当得利等，可通过法律途径解决。

综上所述，中间人把钱退了是否还算诈骗，需结合具体情况进行综合判断。若您对此类问题存在疑问或需要进一步的法律帮助，请直接向我咨询。