结论：单位将您退回到劳务派遣公司，但劳务派遣公司没有收到书面通知书，这种情况可能涉及多个法律层面的问题。以下是从不同角度为您进行的分析和建议。
一、法律层面分析
劳务派遣的退回规定：
- 根据《劳务派遣暂行规定》等相关法律法规，用工单位在特定情况下（如劳动者不能胜任工作、客观情况发生重大变化等）可以将劳动者退回劳务派遣单位。但退回应当遵循法定程序和条件，并且通常应当有明确的书面通知。
书面通知的重要性：
- 书面通知是证明退回行为合法性和有效性的重要证据。如果用工单位未提供书面通知，劳务派遣公司可能难以确认退回的真实性和合法性，进而可能影响您的权益保障。
二、可能的情况及建议
用工单位未履行书面通知义务：
- 如果用工单位确实未向劳务派遣公司发出书面退回通知，您可以要求用工单位提供书面证明或解释原因。同时，您可以与劳务派遣公司沟通，说明情况并要求其确认您的派遣状态。
- 建议：保留与用工单位和劳务派遣公司的沟通记录，以备后续维权之需。
劳务派遣公司未收到通知但已实际接收：
- 也有可能用工单位已经发出了书面通知，但由于各种原因（如邮寄延误、丢失等）劳务派遣公司未实际收到。在这种情况下，您可以协助劳务派遣公司联系用工单位，确认退回事宜并补办相关手续。
- 建议：要求用工单位和劳务派遣公司共同出具一份情况说明，明确退回的事实和原因，以保障您的权益。
用工单位违法退回：
- 如果用工单位在没有合法依据的情况下将您退回，且未履行书面通知义务，这可能构成违法退回。在这种情况下，您可以向劳动监察部门投诉或提起劳动仲裁，要求用工单位承担相应的法律责任。
- 建议：收集相关证据（如工作记录、工资单、同事证言等），以证明用工单位的违法退回行为。
三、后续行动建议
- 与劳务派遣公司保持沟通：及时了解您的派遣状态和后续安排，确保您的权益不受损害。
- 咨询专业律师：虽然我已经为您提供了一些法律分析和建议，但具体情况可能因地区和案件细节而有所不同。如果您需要更具体的法律帮助，可以直接向我咨询，我会根据您的具体情况提供更详细的法律意见。
- 关注自身权益：在处理此类问题时，请务必关注自身的合法权益，不要因用工单位或劳务派遣公司的行为而损害自己的利益。
希望以上分析能对您有所帮助。如果您有任何其他问题或需要进一步的法律帮助，请随时向我咨询。