结论：按照法律规定，被用工单位劳务退回后，派遣公司并不一定要主动到您在职的单位来找您，但派遣公司有义务与您沟通并处理后续事宜。
详细分析：
劳务派遣的基本关系：
- 在劳务派遣关系中，存在三方主体：派遣公司（用人单位）、用工单位和劳动者（您）。派遣公司与您签订劳动合同，建立劳动关系；用工单位则实际使用您的劳动力，并支付劳务费用给派遣公司。
劳务退回的法律后果：
- 当用工单位因各种原因（如合同到期、业务调整、劳动者不符合录用条件等）将您退回派遣公司时，这并不意味着您的劳动关系自动终止。派遣公司作为用人单位，仍然需要承担与您之间的劳动关系管理责任。
派遣公司的义务：
- 派遣公司在收到用工单位的退回通知后，应当及时与您沟通，了解您的意愿和情况，并依法处理后续事宜。这包括但不限于：重新安排您到其他用工单位工作、与您协商解除劳动合同并支付经济补偿、或者继续保留您的劳动关系并支付基本生活费等。
- 派遣公司并不一定要主动到您在职的单位来找您，但应当通过电话、邮件、短信等方式与您取得联系，并告知您相关情况和处理方案。如果派遣公司未能履行这一义务，您有权向派遣公司提出异议，并要求其依法处理。
您的权利：
- 作为劳动者，您有权了解自己的劳动关系状况，包括是否被退回、派遣公司的处理方案等。如果派遣公司未能及时与您沟通或处理不当，您有权向劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
建议与行动：
- 如果您被用工单位退回派遣公司，建议首先与派遣公司取得联系，了解其处理方案和您的权利义务。
- 如果派遣公司未能及时与您沟通或处理不当，您可以向当地的劳动监察部门投诉或申请劳动仲裁，要求派遣公司依法履行其义务。
- 在整个过程中，保留好相关证据（如退回通知、沟通记录等），以便在需要时维护自己的权益。
可能后果：
- 如果派遣公司未能依法处理您的退回事宜，可能会面临劳动监察部门的处罚或劳动仲裁的裁决，包括支付经济补偿、赔偿金等。
- 作为劳动者，如果您未能及时了解自己的劳动关系状况或未能依法维护自己的权益，可能会错过最佳的维权时机或面临不必要的损失。
希望以上分析能够帮助您更好地理解劳务派遣中的退回问题，并维护自己的合法权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。