派遣协议到期时，赔偿义务主体主要取决于具体情况，一般由劳务派遣单位承担经济补偿或赔偿金，但在特定情况下，用工单位也可能需承担相应责任。以下是对此问题的详细分析：
一、劳务派遣单位作为赔偿义务主体的一般情况
用工单位无过错退回：
- 当派遣员工的合同到期，若用工单位无过错地将派遣员工退回到派遣单位（即劳务派遣公司），则用工单位无需支付合同到期的赔偿金。
- 在这种情况下，派遣员工合同到期的经济补偿或赔偿金应由劳务派遣单位来承担。这是因为劳务派遣单位是派遣员工的用人单位，与派遣员工存在直接的劳动关系。
派遣单位不续签或终止合同：
- 如果派遣单位不续签劳务合同，或者不再派遣而终止劳务合同，或者再派遣的待遇低于原用工单位且本人不同意解除合同的，派遣公司应依据《劳动合同法》第47条支付补偿金。
二、用工单位可能作为赔偿义务主体的特定情况
用工单位有过错违法退回：
- 如果派遣员工被退回派遣单位是因为用工单位有过错，如违法退回等情况，那么用工单位就可能需要承担相应的赔偿责任。
用工单位原因致派遣关系结束：
- 若因用工单位原因导致派遣关系结束，如用工单位被依法宣告破产、吊销营业执照等，且用工单位在派遣合同到期未续约且继续使用员工的情况下，可能面临法律风险，存在被认定事实劳动关系的可能，从而需承担相应劳动法律责任，包括可能的赔偿义务。
三、赔偿金的具体计算标准
- 派遣员工合同到期，若用人单位（劳务派遣单位）不续签，需支付经济补偿。经济补偿按劳动者在本单位工作的年限计算，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
- 月工资是指劳动者在劳动合同解除或者终止前十二个月的平均工资。若劳动者月工资高于用人单位所在直辖市、设区的市级人民政府公布的本地区上年度职工月平均工资三倍的，向其支付经济补偿的标准按职工月平均工资三倍的数额支付，向其支付经济补偿的年限最高不超过十二年。
四、法律建议
- 对于劳务派遣单位：应严格遵守《劳动合同法》等相关法律法规，在派遣协议到期时，根据具体情况及时、足额地支付经济补偿或赔偿金，以避免法律风险。
- 对于用工单位：在退回派遣员工时，应确保无过错且合法合规，以避免承担不必要的赔偿责任。同时，在与劳务派遣单位签订派遣协议时，应明确双方的权利和义务，包括赔偿义务的分担等。
- 对于派遣员工：在派遣协议到期时，应了解自己的权益和可能的赔偿标准，以便在必要时维护自己的合法权益。
如有任何关于劳动工伤（劳务派遣）领域的法律问题，可以直接向我咨询。