结论前置：
- 一般情况下，用工单位仅能依法将劳动者退回派遣单位，无权直接解除与劳动者的劳动合同，但这并不意味着不能签三方解除协议，只是需要满足特定条件。
- 在存在法定情形时，无论是用工单位、劳务派遣单位还是劳动者，都有可能通过协商一致签订三方解除协议来解除劳动合同。
详细分析：
在劳务派遣关系中，涉及三方主体：劳务派遣单位（用人单位）、用工单位和劳动者。当提到“仅能依法将劳动者退回派遣单位，无权直接解除合同”时，这通常指的是用工单位在特定情况下（如劳动者不符合录用条件、严重违反规章制度等，但这些情况需由劳务派遣单位或用工单位根据具体情况和规章制度来判断）只能将劳动者退回劳务派遣单位，而不能直接解除与劳动者的劳动合同。这是因为用工单位与劳动者之间并不存在直接的劳动关系，而是通过劳务派遣单位建立的间接劳动关系。
然而，这并不意味着在任何情况下都不能签订三方解除协议。三方解除协议是指劳务派遣单位、用工单位和劳动者三方协商一致，共同解除劳动合同的协议。在以下情况下，有可能签订三方解除协议：
劳动者过错情形：
- 如果劳动者存在严重违反规章制度、严重失职给单位造成重大损害等过错行为，且这些行为被劳务派遣单位或用工单位所证实，那么三方有可能协商一致签订解除协议，解除劳动合同。在这种情况下，劳务派遣单位作为用人单位，有权根据法律规定和劳动合同约定解除与劳动者的劳动合同，而用工单位作为实际使用劳动者的单位，也可以参与协商并表达意见。
非劳动者过错但合同无法继续履行情形：
- 如果由于市场变化、业务调整等原因，用工单位不再需要该岗位或该劳动者，且劳务派遣单位也无法为劳动者重新安排合适的派遣岗位，那么三方也有可能协商一致签订解除协议。在这种情况下，解除劳动合同并非因为劳动者的过错，而是由于客观情况的变化导致合同无法继续履行。
劳动者提出解除：
- 如果劳动者因个人原因（如家庭原因、职业发展规划等）希望提前解除劳动合同，且劳务派遣单位和用工单位都同意，那么三方也可以签订解除协议。
法律建议与后果：
- 在签订三方解除协议前，各方应充分沟通并明确解除的原因、时间、经济补偿等事项，以确保协议的合法性和有效性。
- 劳务派遣单位在解除劳动合同时，应确保解除程序的合法性，包括提前通知劳动者、支付经济补偿金（如适用）等。如果解除程序不合法，可能会面临法律纠纷和赔偿责任。
- 对于劳动者而言，在签订三方解除协议前应仔细阅读协议内容并确保自己的权益得到保障。如果对协议内容有疑问或不满，应及时提出并协商解决。
总结与引导：
在劳务派遣关系中，三方解除协议的签订需要满足特定条件并遵循法定程序。如果你或你所在的企业面临类似问题，或者对劳务派遣、劳动合同解除等方面有进一步的疑问，可以直接向我咨询。作为专业律师，我将为你提供全面、准确的法律建议。