在劳务派遣关系中，用工单位本身并不直接与被派遣劳动者签订劳动合同，因此用工单位没有直接“解除劳动关系”的权力，但有权在特定情形下将被派遣劳动者退回劳务派遣单位。以下是详细分析：
一、用工单位退回被派遣劳动者的情形
劳动者过错：
- 若被派遣劳动者在试用期间不符合录用条件，或严重违反用工单位的规章制度，或严重失职、营私舞弊给用工单位造成重大损害，或与其他用人单位建立劳动关系对完成本单位工作任务造成严重影响且拒不改正，或以欺诈、胁迫等手段订立或变更劳动合同致使合同无效，或被依法追究刑事责任，用工单位有权将其退回劳务派遣单位。
劳动者非过错：
- 若被派遣劳动者患病或非因工负伤，在医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作，或不能胜任工作，经过培训或者调整工作岗位后仍不能胜任，用工单位同样有权将其退回。
情势变更：
- 当劳动合同订立时的客观情况发生重大变化，致使劳动合同无法履行，且用工单位与劳务派遣单位未能就变更劳动合同内容达成协议时，用工单位可以退回被派遣劳动者。
- 若用工单位出现经济性裁员情形，如破产重整、生产经营发生严重困难等，也可以依法将被派遣劳动者退回。
- 劳务派遣协议期满终止时，用工单位也需将被派遣劳动者退回。
二、退回后的法律后果
劳务派遣单位的处理：
- 被用工单位退回后，劳务派遣单位需根据具体情况处理与被派遣劳动者的劳动关系。若劳动者存在过错，劳务派遣单位可依法解除劳动合同且无需支付经济补偿；若因非过错原因被退回，劳务派遣单位在重新派遣时维持或提高劳动合同约定条件而劳动者不同意的，可以解除劳动合同但需支付经济补偿；若降低条件而劳动者不同意，则需支付赔偿金。
劳动者的权益保障：
- 被退回的劳动者有权要求劳务派遣单位提供合适的岗位或支付相应的经济补偿。若劳务派遣单位违反法律规定解除劳动合同，劳动者还有权要求继续履行劳动合同或支付赔偿金。
三、特别说明与建议
- 法定程序：在解除或退回过程中，各方应严格遵循法定程序和要求，确保双方权益得到妥善保护。例如，用工单位在退回劳动者时需提供充分的证据和理由；劳务派遣单位在解除劳动合同时需依法通知劳动者并支付相应的经济补偿。
- 争议解决：若发生争议，被派遣劳动者可首先与劳务派遣单位和用工单位协商解决；协商不成的，可向当地劳动争议仲裁委员会申请仲裁；对仲裁裁决不服的，还可向人民法院提起诉讼。
- 预防措施：为避免类似纠纷的发生，建议劳务派遣单位、用工单位和被派遣劳动者在签订劳动合同时明确各自的权利和义务；同时，用工单位应加强对被派遣劳动者的管理和培训，提高其工作能力和素质；劳务派遣单位则应加强对用工单位的监督和管理，确保其依法用工。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。我会根据你的具体情况提供详细的法律建议和指导。