结论：在劳务派遣关系中，您在厂里做了五六年，是否可以被退回劳务派遣单位，取决于多种因素，不能一概而论。以下从不同角度为您详细分析：

1. 劳务派遣协议的约定：

   • 劳务派遣协议是劳务派遣单位与用工单位（即您所在的厂）之间签订的协议，其中会明确双方的权利和义务，包括派遣员工的退回条件。
   • 如果协议中明确规定了在某些情况下（如员工不胜任工作、违反厂规等）用工单位可以将派遣员工退回劳务派遣单位，且您的情况符合这些条件，那么您有可能被退回。

2. 法律法规的规定：

   • 根据《劳务派遣暂行规定》等相关法律法规，用工单位在特定情况下（如客观情况发生重大变化、经济性裁员等）可以将派遣员工退回劳务派遣单位。
   • 但同时，法律法规也规定了用工单位不得随意退回派遣员工，必须遵循合法、公平、公正的原则，并确保派遣员工的合法权益不受侵害。

3. 您的具体表现与情况：

   • 如果您在工作中表现良好，没有违反厂规或不胜任工作的情况，那么用工单位通常没有合理的理由将您退回劳务派遣单位。
   • 另一方面，如果您存在严重违反厂规、不胜任工作或造成重大损失等情况，用工单位可能依据劳务派遣协议或法律法规的规定将您退回。

4. 退回后的权益保障：

   • 即使您被退回劳务派遣单位，您的合法权益也应得到保障。劳务派遣单位应依法支付您工资、经济补偿等，并为您办理社会保险等相关手续。
   • 如果您认为用工单位或劳务派遣单位的行为侵犯了您的合法权益，您可以依法向劳动争议调解仲裁机构申请调解仲裁，或向人民法院提起诉讼。

建议：

• 首先，您可以查阅劳务派遣协议，了解其中关于退回派遣员工的具体规定。
• 其次，如果您认为自己没有违反厂规或不胜任工作的情况，可以与用工单位或劳务派遣单位进行沟通，了解退回的具体原因和依据。
• 最后，如果您的合法权益受到侵害，不要犹豫，及时寻求法律帮助，维护自己的合法权益。

可能后果：

• 如果您被合法退回劳务派遣单位，您可能需要面临重新寻找工作或接受劳务派遣单位安排的其他工作的挑战。
• 如果您认为退回行为不合法或侵犯了您的合法权益，您可以通过法律途径维护自己的权益，但这也可能带来一定的时间成本和法律风险。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。