单位劳务派遣人员的管理主要归属于人力资源和社会保障部门（人社部门），同时市场监督管理部门、税务部门以及其他相关部门也参与协同管理。以下是详细解析：
一、主要监管部门：人力资源和社会保障部门
法律依据：
- 根据《中华人民共和国劳动合同法》第五十七条，经营劳务派遣业务必须向人社部门依法申请行政许可，未经许可擅自经营是违法的。
监管职责：
- 资质审批：审核劳务派遣公司的设立条件，如注册资本是否达到200万元、是否有固定场所、管理制度是否健全等。
- 日常监管：检查劳务派遣协议是否合规，用工比例是否符合规定（即用工单位使用的被派遣劳动者数量不得超过其用工总量的10%），以及是否实现同工同酬等。
- 违法查处：对违规行为进行处罚，如超范围派遣、克扣工资、未依法缴纳社保等。
二、其他相关部门及职责
市场监督管理部门：
- 负责劳务派遣公司的注册登记，核发营业执照。
- 监管公司经营范围是否合法，是否存在虚假宣传、超范围经营或欺诈行为。
税务部门：
- 检查劳务派遣公司是否依法纳税，包括增值税、企业所得税等。
- 核查发票使用是否规范，防止偷税漏税行为。
应急管理部门/行业主管部门：
- 对特定行业（如建筑、矿山、化工等高危行业）的劳务派遣公司进行安全监管。
- 确保被派遣劳动者的安全生产权益得到保障，落实安全生产责任。
三、跨部门协作机制
- 信息共享：人社部门与市场监督管理部门、税务等部门通过数据平台共享企业信用信息，确保劳务派遣公司在取得营业执照后依法申请行政许可。
- 联合执法：针对重大违规行为（如拖欠工资、逃避社保、非法派遣等），多部门可开展联合整治行动，打击侵害劳动者权益的行为。
- 政策联动：地方政府可能出台区域性政策，加强劳务派遣的监管和管理，如要求劳务派遣单位定期报送用工数据至人社局。
综上所述，单位劳务派遣人员的管理是一个涉及多个部门的综合监管体系，以人社部门为主导，其他相关部门协同配合，共同维护劳务派遣市场的秩序和劳动者的合法权益。