派遣工被退回时，劳务派遣单位确实需要给员工书面通知。以下是对这一问题的详细分析：

法律背景与规定

根据《劳务派遣暂行规定》第十二条，有下列情形之一的，用工单位可以将被派遣劳动者退回劳务派遣单位：

1. 用工单位有劳动合同法第四十条第三项、第四十一条规定情形的；
2. 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或者经营期限届满不再继续经营的；
3. 劳务派遣协议期满终止的。

同时，该规定还明确指出，被派遣劳动者退回后在无工作期间，劳务派遣单位应当按照不低于所在地人民政府规定的最低工资标准，向其按月支付报酬。虽然该条款并未直接规定必须书面通知员工，但基于劳动法的公平、公正原则以及保护劳动者权益的考虑，劳务派遣单位在退回员工时，应当采取书面形式通知员工，以确保员工知晓其被退回的事实及后续安排。

书面通知的重要性

1. 明确事实：书面通知可以明确告知员工其被退回的事实，避免口头通知可能带来的误解或争议。
2. 保障权益：书面通知可以记录退回的原因、时间等关键信息，为员工后续维权提供有力证据。
3. 履行义务：劳务派遣单位作为用人单位，有义务向员工提供清晰、明确的劳动状态变更通知，这是其履行劳动法规定义务的一部分。

实际操作建议

1. 及时通知：劳务派遣单位在决定退回员工时，应尽快以书面形式通知员工，确保员工及时知晓其劳动状态的变化。
2. 内容详尽：书面通知应包含退回的原因、时间、后续安排（如是否支付报酬、如何支付等）等关键信息，以便员工全面了解其权益和义务。
3. 保留证据：劳务派遣单位应妥善保管书面通知的副本或相关送达证据，以备不时之需。

可能的法律后果

如果劳务派遣单位未按照法律规定或合同约定向员工发出书面通知，可能会面临以下法律后果：

1. 员工维权：员工可能因未收到书面通知而不知晓其被退回的事实，导致错过维权时机或产生不必要的损失。员工有权要求劳务派遣单位承担因此造成的损失。
2. 行政处罚：劳务派遣单位可能因违反劳动法规定而面临劳动行政部门的处罚，如罚款、责令改正等。

综上所述，派遣工被退回时，劳务派遣单位应当给员工发出书面通知。这不仅是对员工权益的保障，也是劳务派遣单位履行其法律义务的重要体现。如果您在劳务派遣方面遇到任何问题或需要进一步的法律咨询，请随时向我提问。