结论：用工单位在合同未到期时将您退回劳务公司，您是否可以直接去法院起诉要求恢复劳动关系，需视具体情况而定，不能一概而论。以下从不同角度为您详细分析：

一、劳务派遣关系中的法律关系

在劳务派遣关系中，存在三方主体：劳务派遣单位（即劳务公司）、用工单位和被派遣劳动者（即您）。劳务派遣单位与您签订劳动合同，建立劳动关系，并将您派遣至用工单位工作。用工单位与您之间并不直接建立劳动关系，而是基于劳务派遣协议使用您的劳动力。

二、用工单位退回劳动者的法定情形

根据《劳务派遣暂行规定》第十二条，用工单位可以将被派遣劳动者退回劳务派遣单位的情形主要包括：

1. 客观情况发生重大变化：如用工单位破产重整、生产经营发生严重困难、转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员的；或者因劳动合同订立时所依据的客观经济情况发生重大变化，致使劳动合同无法履行的。
2. 劳动者不符合录用条件或严重违纪：如您在试用期内被证明不符合录用条件，或者严重违反用工单位的规章制度等。
3. 劳动者患病或非因工负伤：在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作的。
4. 劳动者不能胜任工作：经过培训或者调整工作岗位，仍不能胜任工作的。

若用工单位退回您的行为符合上述法定情形之一，则其退回行为合法，您直接起诉要求恢复劳动关系可能难以得到法院支持。

三、用工单位违法退回劳动者的处理

若用工单位退回您的行为不符合上述法定情形，即属于违法退回，则您有权采取以下措施：

1. 与劳务派遣单位协商：首先，您可以尝试与劳务派遣单位进行协商，要求其继续履行与您的劳动合同，将您派遣至其他用工单位工作或者安排您在劳务派遣单位内部工作。
2. 向劳动行政部门投诉：若协商无果，您可以向当地劳动行政部门投诉，要求劳动行政部门对用工单位的违法退回行为进行查处，并责令其改正。
3. 申请劳动仲裁或提起诉讼：若劳动行政部门处理无果，或者您对处理结果不满意，您可以向劳动争议仲裁委员会申请仲裁，要求裁决劳务派遣单位继续履行劳动合同或者支付违法解除劳动合同的赔偿金等。若对仲裁结果不服，您还可以向法院提起诉讼。

在提起诉讼时，您需要明确诉讼请求：是要求恢复与劳务派遣单位的劳动关系并继续派遣至用工单位工作，还是要求劳务派遣单位支付违法解除劳动合同的赔偿金等。这需要根据您的具体情况和诉求来决定。

四、特殊情况下的处理

若您与劳务派遣单位之间的劳动合同也即将到期，且劳务派遣单位无意与您续签劳动合同，则您可能无法直接要求恢复劳动关系。此时，您可以根据《劳动合同法》的相关规定，要求劳务派遣单位支付经济补偿金等。

建议您：在采取任何行动之前，先收集并整理好相关证据，如劳务派遣协议、劳动合同、用工单位退回通知等，以便在协商、投诉、仲裁或诉讼过程中维护自己的合法权益。若您对此仍有疑问或需要进一步的法律帮助，请直接向我咨询。