结论前置：在劳务派遣关系中，用工单位仅能依法将劳动者退回派遣单位，而无权直接解除与劳动者的劳动合同。劳务派遣单位在接收退回的劳动者后，能否解除劳动合同，需严格依据《劳动合同法》等相关法律法规，并根据具体情形来判断。

一、用工单位退回劳动者的法律依据与限制

根据《劳动合同法》第六十五条第二款的规定，被派遣劳动者有本法第三十九条和第四十条第一项、第二项规定情形的，用工单位可以将劳动者退回劳务派遣单位。但这里的关键是，用工单位退回劳动者的行为，并不直接等同于解除劳动合同。用工单位无权直接解除与劳动者的劳动合同，这一权力属于劳务派遣单位。

举例说明：若劳动者在用工单位严重违反了规章制度，用工单位可以依据法律规定将其退回劳务派遣单位，但并不能直接解除与该劳动者的劳动合同。

二、劳务派遣单位解除劳动合同的条件与程序

劳务派遣单位在接收被退回的劳动者后，能否解除劳动合同，需满足以下条件之一：

1. 劳动者过错情形：
   • 劳动者在试用期间被证明不符合录用条件的；
   • 劳动者严重违反用工单位或劳务派遣单位的规章制度的；
   • 劳动者严重失职、营私舞弊，给用工单位或劳务派遣单位造成重大损害的；
   • 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用工单位或劳务派遣单位提出，拒不改正的；
   • 劳动者因欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同，致使劳动合同无效的；
   • 劳动者被依法追究刑事责任的。

在上述情形下，劳务派遣单位可以依法解除与劳动者的劳动合同，且无需支付经济补偿。

1. 非劳动者过错情形：
   • 劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作的；
   • 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的。

在这些情形下，如果用工单位将劳动者退回劳务派遣单位，并且劳务派遣单位无法为劳动者重新安排合适的派遣岗位，那么劳务派遣单位在履行法定程序（如提前通知劳动者、支付相应经济补偿等）后，可以解除劳动合同。

程序要求：无论在哪种情形下解除劳动合同，劳务派遣单位都必须确保解除程序的合法性，包括提前通知劳动者、支付经济补偿金（如适用）、办理离职手续等。

三、违法解除的法律后果

若劳务派遣单位违反上述规定，直接解除了与劳动者的劳动合同，那么该解除行为将被视为违法。在这种情况下，劳动者有权要求劳务派遣单位继续履行劳动合同，或者选择不要求继续履行并要求劳务派遣单位支付赔偿金。

建议：作为劳务派遣单位或用工单位，应严格遵守相关法律法规，确保劳动者的合法权益得到保障。在处理劳动者退回和劳动合同解除问题时，应遵循法定程序和条件，避免潜在的法律风险。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。