工厂因小事退回劳务工是否违法需分情况讨论，核心判断依据是劳务合同约定及退回行为的合理性。以下从不同角度展开分析：

一、若劳务工与工厂签订的是劳务合同（非劳动合同）

1. 合同有明确约定退回条件
   若劳务合同中明确约定了“因特定小事（如轻微违反操作规范、未按时完成非核心任务等）可退回”的条款，且该条款不违反法律强制性规定（如不涉及歧视、侵犯人格权等），则工厂退回劳务工的行为不违法。但需注意：

   • 条款内容需公平合理，不能单方面加重劳务工责任；
     
   • 退回前需履行通知义务，并保留相关证据（如书面警告、违规记录等）。

2. 合同无明确约定或约定违法
   若劳务合同未约定退回条件，或约定的条件违反法律（如“因劳务工与同事吵架即退回”），则工厂以“小事”为由退回劳务工的行为可能违法。此时劳务工可要求工厂继续履行合同或赔偿损失（如已付出劳务的报酬、因退回产生的直接损失等）。

二、若劳务工与工厂签订的是劳动合同（实际构成劳动关系）

1. 工厂无合法理由退回，属于违法解除
   根据《劳动合同法》，用人单位解除劳动合同需符合法定情形（如严重违纪、不能胜任工作等）。若工厂仅以“小事”为由退回劳务工（如迟到一次、工作失误未造成损失等），且未履行民主程序（如经工会或职工代表大会同意），则属于违法解除劳动合同。劳务工可主张：

   • 继续履行合同；
     
   • 或要求工厂支付赔偿金（按工作年限，每满1年支付2个月工资）。

2. 工厂以“客观情况重大变化”为由退回，需严格举证
   若工厂主张因“经营困难、技术革新等客观情况重大变化”需退回劳务工，需提供充分证据（如财务报表、技术改造文件等），并履行协商程序（如与劳务工协商变更合同内容）。若无法举证或未协商，仍可能被认定为违法解除。

三、处理建议

1. 劳务工角度

   • 第一步：核对合同类型及条款，明确双方权利义务；
     
   • 第二步：收集证据（如劳务合同、工作记录、退回通知、沟通记录等）；
     
   • 第三步：与工厂协商，要求书面说明退回理由及依据；
     
   • 第四步：若协商无果，可向当地劳动监察部门投诉或申请劳动仲裁（若构成劳动关系）或直接起诉（若为劳务关系）。

2. 工厂角度

   • 完善合同条款，明确退回条件及程序；
     
   • 退回前履行告知义务，保留证据；
     
   • 避免以“小事”为由随意退回，尽量通过培训、调岗等方式解决问题。

温馨提示：法律问题需结合具体证据和当地司法实践判断，若涉及复杂情况（如合同性质争议、损失计算等），建议直接向我咨询，我会结合您的具体情况提供详细方案。