工厂劳务派遣当然有人管，主要涉及劳务派遣单位、用工单位（即工厂）以及劳动行政部门三方的管理和监督。下面我将从这三个角度详细解释：
劳务派遣单位的管理责任：
- 劳务派遣单位作为劳动者的直接雇主，负责与劳动者签订劳动合同，支付工资，缴纳社会保险等。这是劳务派遣单位的基本法律义务，也是保障劳动者权益的第一道防线。
- 如果劳务派遣单位未履行这些义务，劳动者有权向劳务派遣单位主张权利，包括要求支付拖欠的工资、补缴社会保险等。
用工单位（工厂）的管理责任：
- 工厂作为用工单位，虽然不与劳动者直接签订劳动合同，但根据《劳动合同法》等相关法律法规，工厂有义务为劳动者提供必要的劳动条件，保障劳动者的安全健康。
- 工厂还需对劳务派遣单位派遣的劳动者进行日常管理，包括工作安排、考勤记录等。如果工厂在管理过程中发现劳务派遣单位存在违法行为，如未支付工资、未缴纳社会保险等，应及时向劳务派遣单位提出，并有权向劳动行政部门报告。
劳动行政部门的管理和监督：
- 劳动行政部门是负责劳动法律法规执行和监督的政府部门。对于劳务派遣这种特殊的用工形式，劳动行政部门会进行特别的关注和监管。
- 如果劳动者认为自己的权益受到侵害，可以向劳动行政部门投诉或举报。劳动行政部门在接到投诉或举报后，会进行调查核实，并根据情况对违法行为进行处罚，包括责令改正、罚款等。
法律建议：
- 对于劳动者来说，如果遇到劳务派遣单位或工厂的违法行为，应首先尝试与双方协商解决。如果协商无果，可以向劳动行政部门投诉或举报，也可以寻求法律援助或提起诉讼来维护自己的权益。
- 对于工厂和劳务派遣单位来说，应严格遵守相关法律法规，履行好自己的管理责任，避免违法行为的发生。否则，不仅可能面临法律处罚，还可能损害企业的声誉和形象。
可能后果：
- 如果劳务派遣单位或工厂未履行好自己的管理责任，可能会面临劳动行政部门的处罚，包括罚款、责令改正等。
- 对于劳动者来说，如果权益受到侵害且未得到及时有效的解决，可能会影响其工作积极性和生活质量，甚至可能引发社会不稳定因素。
因此，工厂劳务派遣确实有人管，而且多方都在共同维护这一用工形式的合法性和规范性。如果你有任何关于劳务派遣的法律问题或疑虑，都可以直接向我咨询。