结论：劳务派遣五年不续签，退回用人单位是否有赔偿，主要取决于合同终止的原因和责任方。以下是具体分析：
劳务派遣单位不主动续签
- 一般情况：根据《中华人民共和国劳动合同法》第四十六条第五项，除用人单位维持或者提高劳动合同约定条件续订劳动合同，劳动者不同意续订的情形外，劳动合同期满终止固定期限劳动合同的，用人单位需向劳动者支付经济补偿金。经济补偿标准按劳动者在本单位工作年限计算，每满一年支付一个月工资，六个月以上不满一年按一年计，不满六个月支付半个月工资。月工资指劳动合同解除或终止前十二个月的平均工资。
- 举例说明：假设您在劳务派遣单位工作了五年，月工资为5000元，若劳务派遣单位不续签且未维持或提高劳动条件，您应获得的经济补偿为5个月工资，即25000元。
劳动者主动不续签
- 若您因个人原因不愿续签劳动合同，且劳务派遣单位未降低劳动条件，则劳务派遣单位无需支付经济补偿金或赔偿金。
- 但若劳务派遣单位降低了劳动合同约定条件导致您不愿续签，依据《中华人民共和国劳动合同法》第四十六条第五项，劳务派遣单位仍需支付经济补偿金。
用工单位与劳务派遣单位协议期满不续签
- 用工单位与劳务派遣单位之间的协议属于民事合同关系，其期满不续签一般按双方约定处理，不涉及直接向您支付补偿。但若因此导致您与劳务派遣单位的劳动合同无法继续履行，且劳务派遣单位存在过错，您仍有权要求劳务派遣单位支付经济补偿金或赔偿金。
法律建议：
- 在面临劳务派遣合同续签问题时，您应明确自己的权利和义务，特别是关于经济补偿和赔偿金的规定。
- 若劳务派遣单位不续签或存在其他违法行为，您有权要求其支付经济补偿金或赔偿金，并可通过法律途径维护自身合法权益。
- 对于劳务派遣单位而言，合规管理、依法用工是避免不必要法律纠纷的关键。
可能法律后果：
- 若劳务派遣单位不依法支付经济补偿金或赔偿金，您可向劳动争议仲裁委员会申请仲裁，要求劳务派遣单位支付相应款项。
- 若对仲裁结果不服，您还可向人民法院提起诉讼，通过司法程序维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。