首先，我们需要明确一点：工厂以休息为由退回第三方公司的行为，可能涉及到劳动合同、劳务派遣以及相关法律法规的复杂问题。接下来，我将从几个角度为你详细解析这个问题，并提供相应的建议。

1. 劳动合同关系分析：

   • 如果你与工厂直接签订了劳动合同，那么工厂不能以休息为由单方面退回你到第三方公司。这种行为可能构成违法解除劳动合同，你有权要求工厂继续履行劳动合同，或者支付经济补偿金。
   • 如果你与第三方公司签订了劳动合同，并被派遣到工厂工作，那么工厂退回你的行为需要依据劳务派遣协议以及相关法律法规进行。如果工厂无故退回，你可以与第三方公司协商，要求其维护你的合法权益。

2. 劳务派遣关系分析：

   • 在劳务派遣关系中，第三方公司（劳务派遣单位）负责与你签订劳动合同，并将你派遣到工厂（用工单位）工作。工厂作为用工单位，应当遵守劳务派遣协议以及相关法律法规，不能随意退回派遣员工。
   • 如果工厂确实需要退回你，应当与第三方公司协商，并按照协议约定的程序进行。同时，第三方公司也有责任为你重新安排工作或者支付相应的经济补偿。

3. 法律途径建议：

   • 如果工厂以休息为由退回你，并且没有支付相应的经济补偿或者违反了相关法律法规，你可以通过劳动争议仲裁或者诉讼等途径来维护自己的合法权益。
   • 在此之前，建议你先与工厂和第三方公司进行协商，尝试通过和解的方式解决问题。如果协商无果，再考虑法律途径。

4. 保留证据与咨询：

   • 在整个过程中，你一定要保留好相关的证据，如劳动合同、劳务派遣协议、工资单、工作记录等，以便在需要时提供证明。
   • 如果你对这个问题感到困惑或者不知道如何处理，可以直接向我咨询，我会根据你的具体情况为你提供更详细的法律建议。

综上所述，工厂以休息为由退回第三方公司的行为可能涉及多个法律层面的问题。你需要根据自己的实际情况，从劳动合同关系、劳务派遣关系以及法律途径等方面进行综合考虑和处理。如果你有任何疑问或者需要进一步的帮助，请随时向我咨询。