核心结论：若用人单位将劳动者退回劳务派遣单位，且劳务派遣单位不续签劳动合同，劳动者一般可向劳务派遣单位主张经济补偿；若存在特定情形，也可能涉及用人单位的责任。以下为具体分析：

劳务派遣单位不续签，劳动者可向其主张经济补偿

在劳务派遣这种用工形式中，劳务派遣单位是与劳动者建立劳动关系的主体。根据《劳动合同法》相关规定，除用人单位维持或者提高劳动合同约定条件续订劳动合同，劳动者不同意续订的情形外，劳动合同期满终止固定期限劳动合同的，劳务派遣单位应当向劳动者支付经济补偿。

经济补偿的计算标准是按照劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。这里的月工资是指劳动者在劳动合同解除或者终止前十二个月的平均工资。

例如，小李被劳务派遣到某用人单位工作，与劳务派遣单位签订了为期两年的劳动合同。合同到期后，劳务派遣单位决定不续签，小李在劳务派遣单位工作了两年，那么劳务派遣单位就需要支付小李两个月的工资作为经济补偿。

特殊情况下可能涉及用人单位的责任

如果用人单位存在过错导致劳动者被退回，且该过错与劳务派遣单位不续签劳动合同之间存在因果关系，那么劳动者可能可以要求用人单位承担相应的责任。比如，用人单位无正当理由将劳动者退回劳务派遣单位，给劳动者造成了损害，劳务派遣单位也因此不续签合同，此时劳动者可以尝试通过法律途径要求用人单位承担一定的赔偿责任。不过，这种情况需要劳动者提供充分的证据来证明用人单位的过错以及该过错与不续签合同之间的因果关系，举证难度相对较大。

建议：如果遇到这种情况，劳动者可以先与劳务派遣单位协商经济补偿事宜；若协商不成，可以向当地劳动监察部门投诉，或者向劳动争议仲裁委员会申请仲裁，以维护自己的合法权益。如果你还有其他关于劳务派遣、劳动纠纷等方面的法律问题，可以直接向我咨询。