劳务派遣被退回时，关于赔偿的问题，主要责任归属需视具体情况而定。以下是根据不同情况的分析：
因用工单位原因退回：
- 若劳务派遣单位在重新派遣时无法提供工作岗位，导致劳动合同解除，劳务派遣单位应支付经济补偿。经济补偿按劳动者在本单位工作的年限，以每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，支付半个月工资的经济补偿。
- 若劳务派遣单位违反规定解除或终止劳动合同，且劳动者不要求继续履行劳动合同或劳动合同已无法继续履行，劳务派遣单位需按经济补偿标准的二倍向劳动者支付赔偿金。
因劳务派遣单位过错辞退：
- 如劳务派遣单位未依法为劳动者缴纳社保等，导致劳动者被辞退，劳务派遣单位应承担赔偿责任。
因派遣人员自身过错被辞退：
- 如劳动者严重违反用工单位规章制度等，导致被辞退，则可能无法获得赔偿。
在寻求赔偿时，建议劳动者首先收集好相关证据，如劳动合同、辞退通知、工作表现记录等，以便确定赔偿责任主体，并维护自身合法权益。若遇到复杂情况或无法确定责任归属，可直接向我咨询，我将为你提供专业的法律分析和建议。