劳务派遣工被用工单位退回，并不一定需要用工单位与员工进行协商，但退回必须基于法定原因，并履行相应的程序。以下是对此问题的详细分析：
一、退回的法定原因
劳务派遣工被退回主要分为因劳动者自身原因和用工单位原因两大类：
劳动者自身原因：
- 试用期间不符合录用条件。
- 严重违反用工单位规章制度。
- 严重失职、营私舞弊，给用工单位造成重大损害。
- 与其他用人单位建立劳动关系，影响本单位工作任务。
- 以欺诈、胁迫手段订立或变更劳动合同，致使合同无效。
- 被依法追究刑事责任。
- 患病或非因工负伤，医疗期满后不能从事原工作或另行安排的工作。
- 不能胜任工作，经培训或调整岗位仍不能胜任。
用工单位原因：
- 客观情况发生重大变化，致使劳动合同无法履行，且协商未果。
- 用工单位进行重整、生产经营发生严重困难等经济性裁员情形。
- 劳务派遣协议期满终止。
- 用工单位被依法宣告破产、吊销营业执照等导致主体消灭的情形。
二、退回的程序与通知义务
- 确定退回理由：用工单位需首先确定合法的退回理由，这是退回行为合法性的基础。
- 书面通知：用工单位应以书面形式通知劳动者和劳务派遣单位，明确退回的原因、时间等关键信息。这一步骤是确保劳动者和劳务派遣单位知晓退回事宜，并准备相应处理措施的重要环节。
- 办理退回手续：包括交接工作物品、结算工资和福利等，确保退回过程规范有序。
三、劳动者权益保护与后续处理
- 无过错性退回的经济补偿：若劳动者无过错被退回，劳务派遣单位应支付经济补偿金。这是对劳动者因非自身原因失去工作的一种补偿。
- 过错性退回的处理：若劳动者因过错被退回，劳务派遣单位有权解除劳动合同且不支付经济补偿，但需承担举证责任并书面通知劳动者。这是对劳动者过错行为的一种法律后果。
- 违法退回的赔偿：若用工单位违法退回劳动者，需按照经济补偿标准的二倍向劳动者支付赔偿金。这是对用工单位违法行为的法律制裁。
- 待遇保障：无论何种原因被退回，在无工作期间，劳务派遣单位都应按照不低于所在地人民政府规定的最低工资标准，向其按月支付报酬，并依法缴纳社保。这是对劳动者基本生活的一种保障。
四、法律建议与争议解决途径
- 严格遵守法律法规：劳务派遣单位和用工单位在处理退回事宜时，应严格遵守相关法律法规，确保劳动者的合法权益得到保障。
- 协商与调解：劳动者对退回决定有异议时，首先应与劳务派遣单位和用工单位进行协商，寻求解决方案。这是解决争议的一种高效方式。
- 申请劳动仲裁或提起诉讼：若协商不成，劳动者可向劳动争议仲裁委员会申请仲裁；对仲裁结果不服的，可向人民法院提起诉讼，通过司法途径维护自己的合法权益。
总结来看，劳务派遣工被用工单位退回时，虽然不一定需要用工单位与员工进行协商，但必须确保退回行为基于法定原因，并履行相应的程序。同时，劳务派遣单位应妥善处理退回后的劳动者，保障其基本待遇和合法权益。如果您在劳务派遣方面遇到任何法律问题，都可以直接向我咨询。