关于工厂把员工退回劳务派遣是否有赔偿金的问题，这主要取决于员工被退回的原因以及劳务派遣单位后续的处理方式。以下是从不同角度进行的详细分析：
一、无需支付赔偿金或经济补偿的情况
员工存在过错：
- 若员工存在《中华人民共和国劳动合同法》第三十九条规定的过错情形，如试用期间不符合录用条件、严重违反规章制度、严重失职或营私舞弊给用工单位造成重大损害、同时与其他用人单位建立劳动关系对完成本单位工作任务造成严重影响且拒不改正、因欺诈手段订立劳动合同或被依法追究刑事责任等，用工单位可将其退回劳务派遣单位，且劳务派遣单位解除劳动合同时无需支付经济补偿或赔偿金。
协商一致退回：
- 如果用工单位、劳务派遣单位和员工三方达成书面协议，明确约定退回事宜且不涉及补偿，那么员工被退回时通常也不会获得赔偿金。
二、可能需要支付经济补偿或赔偿金的情况
非员工过错被退回：
- 当出现《中华人民共和国劳动合同法》第四十条第一项、第二项或第四十一条规定的情形，如员工患病或非因工负伤不能胜任工作、经济性裁员等，用工单位将员工退回劳务派遣单位。此时，若劳务派遣单位重新派遣时降低劳动合同约定条件且员工不同意，或者劳务派遣单位未为员工安排新工作并解除劳动合同，则需向员工支付经济补偿或赔偿金。
劳务派遣单位违法解除劳动合同：
- 如果劳务派遣单位违反《中华人民共和国劳动合同法》规定解除或终止劳动合同，且员工不要求继续履行劳动合同或劳动合同已无法继续履行，劳务派遣单位应依照经济补偿标准的二倍向员工支付赔偿金。经济补偿标准按员工在本单位工作的年限计算，每满一年支付一个月工资，六个月以上不满一年的按一年计算，不满六个月的支付半个月工资。
三、特殊情况说明
- 合同到期不续签：若劳动合同到期，用工单位与派遣员工未就续签达成一致，是否需支付赔偿金也需根据具体情况判断，通常取决于合同约定及法律法规规定。但一般情况下，如果是因为非员工过错导致合同无法续签，劳务派遣单位可能需要支付经济补偿。
四、建议与注意事项
- 了解自身权益：员工应了解自己的合法权益，包括在何种情况下有权获得经济补偿或赔偿金。
- 保留证据：在发生争议时，员工应保留好相关证据，如劳动合同、工资单、退回通知等，以便在需要时维护自己的权益。
- 及时咨询：如果员工对退回决定或经济补偿问题有疑问，应及时向劳务派遣单位或用工单位咨询，并考虑寻求法律援助以维护自身合法权益。
综上所述，工厂把员工退回劳务派遣是否有赔偿金，取决于多种因素。员工应了解自己的权益，并在必要时寻求法律帮助。如果你有任何具体的法律问题或需要进一步的法律建议，请直接向我咨询。