在诈骗案中，中间人口头担保退款但迟迟不退，其是否有责任需分情况讨论：

1. 口头担保的法律效力：

   • 口头担保，在法律上属于保证行为的一种形式。根据《民法典》的相关规定，保证合同可以是书面形式，也可以是其他形式，只要能够表明保证人的保证意思即可。因此，口头担保在法律上并非完全无效，但其证明难度较大。若能通过录音、聊天记录、证人证言等方式证明中间人确实作出了担保退款的意思表示，那么该口头担保就具有法律效力。

2. 中间人的责任：

   • 若口头担保有效：中间人作为保证人，在债务人（即诈骗案中的实施者）不履行退款义务时，应承担保证责任。这通常意味着中间人需要代替债务人履行退款义务，或者在其承担保证责任的范围内向债权人（即受害者）进行赔偿。若中间人迟迟不退，受害者有权通过法律途径追究其责任，如提起民事诉讼要求中间人履行保证责任。
   • 若口头担保无效或难以证明：如果无法证明中间人作出了担保退款的意思表示，或者该担保因违反法律、行政法规的强制性规定而无效，那么中间人可能不承担保证责任。但在此情况下，如果中间人明知诈骗行为而参与其中，或者对诈骗行为的发生有过错，那么其可能因共同侵权或过错责任而承担相应的法律责任。不过，这需要具体的证据和事实来支持。

3. 实际操作的建议：

   • 收集证据：对于受害者而言，首先应尽可能收集能够证明中间人口头担保的证据，如录音、聊天记录、证人证言等。这些证据在后续的法律程序中至关重要。
   • 协商与调解：在证据充分的情况下，可以尝试与中间人进行协商或调解，要求其履行退款义务。这通常是一种更快速、更经济的解决方式。
   • 法律途径：如果协商或调解无果，受害者可以向法院提起民事诉讼，要求中间人履行保证责任或承担相应的法律责任。在诉讼过程中，应充分展示证据，证明中间人的担保行为和其应承担的责任。

总结来说，中间人在诈骗案中口头担保退款但迟迟不退，其是否有责任取决于口头担保的法律效力以及中间人在诈骗行为中的角色和过错程度。受害者应积极收集证据，通过协商、调解或法律途径来维护自己的合法权益。如果你有进一步的法律问题或需要更具体的法律建议，可以直接向我咨询。