结论前置：

1. 工厂招用偷渡越南人属于违法行为。
2. 主管作为直接责任人，可能面临行政处罚甚至刑事责任。

一、工厂招用偷渡越南人的法律定性

根据《中华人民共和国出境入境管理法》第七十八条、第七十九条，以及《中华人民共和国刑法》第三百一十八条、第三百二十二条，招用偷渡人员的行为构成违法，具体分为以下两种情形：

1. 行政违法层面
   工厂明知或应知招用人员为非法入境者，仍予以雇佣的，属于“非法聘用外国人”行为。根据《出境入境管理法》第八十条，公安机关可对工厂处以每非法聘用一人一万元、总额不超过十万元的罚款，并责令限期改正；拒不改正的，处十日以上十五日以下拘留。

2. 刑事犯罪层面
   若工厂与偷渡组织者存在共谋（如提供资金、场所协助偷渡），或主管人员直接参与组织、运送他人偷越国（边）境，则可能构成《刑法》第三百一十八条“组织他人偷越国（边）境罪”或第三百二十二条“运送他人偷越国（边）境罪”。根据犯罪情节，主管人员可能被处二年以上七年以下有期徒刑，并处罚金；情节特别严重的，处七年以上有期徒刑或无期徒刑。

二、主管的法律责任及处理方式

主管作为工厂用工管理的直接责任人，需承担以下法律后果：

1. 行政责任
   若主管未尽到审查义务（如未核实员工身份、未要求提供合法入境证件），公安机关可依据《出境入境管理法》第七十四条，对主管个人处二千元以上一万元以下罚款；情节严重的，处十日以上十五日以下拘留。

2. 刑事责任
   若主管明知员工为偷渡人员仍予以招用，且存在以下情形之一，可能被追究刑事责任：

   • 招用偷渡人员数量较大（如5人以上）；
     
   • 招用偷渡人员从事危害国家安全或社会公共利益的活动（如恐怖活动、贩毒）；
     
   • 主管本人直接参与偷渡环节（如接应、藏匿偷渡人员）。
     根据《刑法》第三百一十八条，组织他人偷越国（边）境罪的主犯，最高可处无期徒刑。

3. 处理建议

   • 立即停止违法行为：主管应要求工厂立即终止与偷渡人员的劳动关系，并配合公安机关调查。
     
   • 主动补缴罚款：若已构成行政违法，工厂应主动缴纳罚款，避免被强制执行或列入失信名单。
     
   • 完善用工制度：建立员工身份核查机制（如要求提供护照、签证、工作许可），定期向公安机关报备用工情况。
     
   • 法律风险隔离：若主管仅因疏忽管理被追责，可主张已履行基本审查义务（如要求员工提供身份证），争取减轻处罚。

三、延伸风险提示

1. 工厂连带责任：除罚款外，工厂可能因招用偷渡人员导致劳动合同无效（《劳动合同法》第二十六条），需支付经济补偿；若偷渡人员发生工伤，工厂仍需承担工伤保险责任（《非法用工单位伤亡人员一次性赔偿办法》）。
   
2. 行业信用惩戒：工厂若被列入“严重违法失信企业名单”，将面临政府采购限制、招投标禁止等后果。

建议：若您或工厂已涉及此类问题，需立即整理用工记录、员工身份材料等证据，并委托律师介入与公安机关沟通，争取从轻处理。如有进一步疑问，可直接向我咨询。