结论：中介是否需要退回中介费，需根据具体情况判断，主要取决于中介是否履行了法定义务、是否存在过错以及与客户的合同约定。

1. 若中介已履行法定义务且无过错，通常无需退回中介费
   根据《民法典》第九百六十二条，中介人需如实报告与订立合同有关的事实。若中介已尽到审查义务（如核实客户身份、交易目的合法性等），且客户后续违法行为与中介服务无直接关联（例如客户利用合法交易从事非法活动），则中介无需承担责任，中介费无需退回。
   示例：房屋中介核实了买家身份，但买家购房后用于非法经营，中介无需退费。

2. 若中介未履行法定义务或存在过错，可能需部分或全部退回中介费

   • 未尽审查义务：若中介未核实客户基本资质（如身份、信用状况）或明知客户可能违法仍促成交易（如为诈骗团伙提供中介服务），可能被认定为“故意隐瞒重要事实”或“与一方串通损害另一方利益”，需承担赔偿责任，中介费可能被要求退回。
     
   • 合同约定：若中介与客户签订的合同中明确约定“若客户违法，中介需退费”，则需按合同履行。
     示例：职业介绍所未核实用人单位资质，导致求职者陷入传销组织，中介可能需退费并赔偿。

3. 特殊情形：行政处罚或刑事责任不影响民事退费义务
   即使中介因客户违法行为被行政处罚（如罚款）或追究刑事责任（如共犯），仍需单独判断其是否需承担民事退费责任。两者无必然关联，需分别处理。

建议：

• 中介应完善客户审查流程（如留存身份证、营业执照等复印件），并在合同中明确免责条款；
  
• 若客户已违法，中介需立即停止服务并保留证据（如沟通记录、合同），避免被牵连；
  
• 发生纠纷时，可依据合同约定或《民法典》第九百六十四条（中介人报酬请求权）主张权利。
  

如有具体案件细节，可进一步向我咨询，我会结合证据为您分析责任边界。