小时工被退回劳务费，可先尝试与用工单位或劳务派遣单位协商解决，协商不成则可通过法律途径维权。以下是具体分析：

1. 明确劳务关系与责任主体
   首先需确认您与用工单位（实际工作场所）或劳务派遣单位（签订劳务合同的一方）之间的法律关系。若您通过劳务派遣公司被派至用工单位工作，根据《劳动合同法》第五十八条，劳务派遣单位是用人单位，应承担支付劳动报酬、缴纳社保等法定义务。若用工单位无故退回您且未支付劳务费，责任主体通常为劳务派遣单位；若用工单位直接雇佣您（非劳务派遣关系），则责任主体为用工单位本身。

2. 协商解决是首选
   建议您先与用工单位或劳务派遣单位沟通，要求其说明退回原因并支付拖欠的劳务费。沟通时注意保留书面证据（如微信聊天记录、邮件、录音等），明确对方承认拖欠费用的事实。若对方以“工作不达标”“岗位调整”等理由拒绝支付，可要求其提供书面证明（如考核记录、岗位调整通知等），以便后续维权。

3. 法律途径维权
   若协商无果，可采取以下措施：

   • 向劳动监察部门投诉：根据《劳动保障监察条例》，您可向用工单位或劳务派遣单位所在地的劳动监察大队投诉，要求其介入调查并督促支付劳务费。投诉时需提供身份证明、劳务合同、工作证明（如工牌、考勤记录）、拖欠费用证据等材料。
     
   • 申请劳动仲裁：若投诉未解决，可向劳动争议仲裁委员会申请仲裁。仲裁申请需在知道或应当知道权利被侵害之日起1年内提出，需提交仲裁申请书、身份证明、证据材料等。仲裁裁决具有法律效力，若对方不履行，可申请法院强制执行。
     
   • 提起诉讼：若对仲裁结果不服，可在收到仲裁裁决书之日起15日内向法院提起诉讼。诉讼程序相对复杂，但可通过法院判决强制对方支付劳务费及可能的赔偿（如逾期利息、违约金等）。

4. 特殊情形处理

   • 若用工单位违法退回：根据《劳动合同法》第六十五条，用工单位不得将连续用工期限分割订立数个短期劳务派遣协议，也不得将被派遣劳动者再派遣到其他用人单位。若用工单位违法退回您，劳务派遣单位不得以此为由拒绝支付劳务费，您可同时要求用工单位和劳务派遣单位承担连带责任。
     
   • 若未签订书面劳务合同：即使未签订书面合同，只要您能证明存在事实劳务关系（如工作证、工资条、同事证言等），仍可依法维权。根据《劳动合同法》第八十二条，用人单位自用工之日起超过1个月不满1年未与劳动者订立书面劳动合同的，应向劳动者每月支付2倍工资。

行动建议：

1. 立即收集并整理所有能证明劳务关系及拖欠费用的证据（如合同、考勤、工资记录、沟通记录等）；
   
2. 优先与对方协商，明确诉求并保留协商证据；
   
3. 若协商无果，尽快向劳动监察部门投诉或申请劳动仲裁，避免超过时效；
   
4. 若涉及复杂法律问题（如劳务派遣合规性、证据效力等），可随时向我咨询，我会根据具体情况提供详细指导。