关于退回派遣工是否需要书面通知书的问题，这主要取决于具体的法律法规以及劳务派遣协议中的约定。不过，从一般法律实践和劳务派遣的常规操作来看，建议用工单位在退回派遣工时，最好采用书面通知书的形式。
首先，我们来看相关的法律法规依据：
《劳务派遣暂行规定》：该规定明确了用工单位在何种情况下可以将被派遣劳动者退回劳务派遣单位，如用工单位有《劳动合同法》第四十条第三项、第四十一条规定情形的，或者用工单位被依法宣告破产、吊销营业执照等。虽然该规定并未直接说明退回时必须使用书面通知书，但书面形式作为法律文件的一种，具有更强的证明力和法律效力，有助于明确双方的权利和义务。
《劳动合同法》及相关实施条例：这些法律法规强调了劳动合同的书面形式，以及在变更、解除或终止劳动合同时应遵循的程序。虽然它们并未直接针对劳务派遣的退回问题作出规定，但从中可以推断出，对于涉及劳动者权益的重要事项，采用书面形式进行通知和确认是更为稳妥和合法的做法。
接下来，我们分析采用书面通知书的好处：
明确性：书面通知书可以清晰地说明退回的原因、时间、地点以及后续处理等事项，避免口头通知可能带来的误解和争议。
法律效力：书面形式作为法律文件的一种，具有更强的证明力。在发生纠纷时，书面通知书可以作为重要的证据来支持用工单位或劳务派遣单位的立场。
规范性：采用书面通知书有助于规范用工单位和劳务派遣单位之间的操作流程，提高管理效率，降低法律风险。
最后，虽然法律法规并未明确要求退回派遣工时必须使用书面通知书，但考虑到书面形式的明确性、法律效力和规范性等优势，建议用工单位在退回派遣工时，最好采用书面通知书的形式进行通知。同时，用工单位还应确保通知书的内容合法、合规，并妥善保存相关证据，以备不时之需。