中间人拿了五万元可能涉及民事纠纷或刑事犯罪，需根据具体情形采取不同处理方式，以下分情况说明：

1. 若中间人构成表见代理或无权代理，但未实际占有资金
   若中间人以委托人名义收取款项，但实际未将资金据为己有（例如将款项转交委托人或存入指定账户），此时可能涉及表见代理或无权代理问题。根据《民法典》第171、172条，若相对人有理由相信中间人有代理权，委托人可能需承担民事责任；若中间人无代理权且相对人明知，则委托人可拒绝追认，要求相对人直接向中间人主张权利。

2. 若中间人实际占有资金且拒不返还，可能构成侵占罪或不当得利

   • 刑事角度：若中间人以非法占有为目的，将代为保管的他人财物非法占为己有，数额较大且拒不退还，可能构成《刑法》第270条规定的侵占罪（需注意：侵占罪为自诉案件，需委托人自行向法院提起刑事自诉）。
     
   • 民事角度：若不符合刑事犯罪构成要件，委托人可依据《民法典》第985条以不当得利为由，要求中间人返还资金及孳息（如利息），并可主张赔偿因资金占用造成的损失（如资金占用期间的利息损失）。

3. 若中间人通过虚构事实、隐瞒真相骗取资金，可能构成诈骗罪
   若中间人以非法占有为目的，通过欺骗手段（如虚构项目、伪造文件等）使委托人陷入错误认识并交付资金，可能构成《刑法》第266条规定的诈骗罪。此时委托人应立即向公安机关报案，由公安机关立案侦查，追缴赃款并追究中间人刑事责任。

建议处理步骤：

1. 固定证据：收集所有与中间人沟通的记录（如微信、邮件、录音）、转账凭证、合同等，证明资金交付事实及中间人身份；
   
2. 协商解决：先尝试与中间人沟通，要求其返还资金或说明资金去向，并保留协商记录；
   
3. 民事诉讼：若协商无果，可向法院提起民事诉讼，主张返还资金及赔偿损失；
   
4. 刑事报案：若怀疑中间人涉嫌犯罪（如诈骗、侵占），可向公安机关报案，并提交证据材料。
   

提示：具体处理方式需结合资金性质（如是否为委托理财、借款等）、中间人行为模式及证据情况综合判断。若有进一步细节（如资金用途、中间人身份、是否有书面协议等），可向我补充说明，以便更精准分析。