结论：在中介百般推辞提供离职单的情况下，你可以尝试跟文员要离职单，但能否成功要取决于工厂的管理制度、文员职责范围以及你与工厂、中介之间的具体约定等多种因素。

1. 从工厂管理制度角度：

   • 如果工厂有明确规定，临时工离职时相关离职手续文件（包括离职单）的办理流程，且文员在工厂的管理架构中负责此类文件的发放或管理，那么你有合理的理由向文员索要离职单。例如，工厂规定所有员工的离职单统一由人事部门的文员发放，那么在这种情况下，你可以向文员提出申请。
   • 然而，如果工厂规定离职单必须由中介提供，或者工厂将与临时工离职相关的所有事务都委托给中介处理，文员可能没有权限或职责为你提供离职单。

2. 从文员职责范围角度：

   • 文员的工作职责通常包括文件管理、资料整理等。如果离职单属于文员日常管理或经手的文件范畴，且没有明确的限制规定不允许向临时工提供，那么你可以尝试与文员沟通，说明情况并请求其提供离职单。
   • 但如果文员的职责仅限于处理工厂内部正式员工的事务，或者离职单的发放有严格的权限控制，文员可能会以职责范围为由拒绝你的请求。

3. 从你与工厂、中介的约定角度：

   • 如果你在通过中介进入工厂工作时，与中介或工厂有明确的约定，规定离职单的提供方式和责任方，那么应按照约定执行。如果约定由中介提供离职单，而中介推辞，你可以先与中介协商解决，同时也可以向工厂反映情况，看工厂是否能协调解决或直接由工厂提供离职单。
   • 如果没有明确的约定，你可以参考行业惯例或相关法律法规。一般来说，劳动者有权获得离职相关的证明文件，以保障自己的合法权益。在这种情况下，你可以向文员说明你的合理需求，并尝试获取离职单。

建议：

• 在尝试向文员要离职单之前，先了解工厂的相关管理制度和文员的职责范围，以便更有针对性地提出请求。
• 与中介和工厂进行积极沟通，说明你的需求和困境，寻求他们的理解和支持。
• 如果沟通无果，你可以考虑向当地的劳动监察部门投诉或寻求法律援助，以维护自己的合法权益。