结论前置：劳务派遣单位在员工被用工单位退回后，能否解除劳动合同需视具体情况而定，不能一概而论。

一、一般情况下不能随意解除

根据《劳动合同法》及相关法律法规，劳务派遣单位是用人单位，与被派遣劳动者存在劳动关系。当劳动者被用工单位退回时，在正常情形下，劳务派遣单位不能直接以此为由解除与劳动者的劳动合同。因为退回并不必然意味着劳动者存在过错或符合法定解除劳动合同的条件。劳务派遣单位应继续履行用人单位的职责，为劳动者提供合适的岗位或采取其他合理措施。

举例说明：若劳动者因用工单位业务调整被退回，且劳动者无任何过错，此时劳务派遣单位不能直接解除劳动合同，而应考虑为劳动者重新安排派遣岗位或支付最低工资标准下的劳动报酬。

二、存在法定情形时可以解除

1. 劳动者过错情形：
   • 在试用期间被证明不符合录用条件的；
   • 严重违反用工单位（或劳务派遣单位，视具体情况而定）的规章制度的；
   • 严重失职、营私舞弊，给用工单位（或劳务派遣单位）造成重大损害的；
   • 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用工单位（或劳务派遣单位）提出，拒不改正的；
   • 因欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同，致使劳动合同无效的；
   • 被依法追究刑事责任的。

在这些情形下，即便劳动者是被用工单位退回，劳务派遣单位也可以依法解除与劳动者的劳动合同，且无需支付经济补偿。

1. 非劳动者过错情形：
   • 劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作的；
   • 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的。

在这些情形下，如果用工单位将劳动者退回劳务派遣单位，并且劳务派遣单位无法为劳动者重新安排合适的派遣岗位，那么劳务派遣单位在履行法定程序（如提前通知劳动者、支付相应经济补偿等）后，可以解除劳动合同。

具体流程：

• 调查核实与培训调岗：劳务派遣公司应首先对该情况进行调查核实，若确认劳动者确实存在不能胜任工作的情况，应依法对劳动者进行培训或调整其工作岗位。
• 合法退回与解除劳动合同：经过培训或调岗后，若劳动者仍然不能胜任工作，用工单位有权将其合法退回至劳务派遣公司。劳务派遣公司在接收到退回的劳动者后，若确定退回理由符合《劳动合同法》中可以被解除劳动合同的情形，方可按照法定程序解除与劳动者的劳动合同。
• 通知工会与支付报酬：在解除劳动合同前，劳务派遣公司还需将解除的理由通知工会，确保程序的合法性。若用工单位将劳动者退回至劳务派遣公司是合法的，且在被派遣劳动者无工作期间，劳务派遣公司应按照最低工资标准向劳动者支付劳动报酬。

三、解除程序的合法性

无论在哪种情形下解除劳动合同，劳务派遣单位都必须确保解除程序的合法性。这包括提前通知劳动者、支付经济补偿金（如适用）、办理离职手续等。如果解除程序不合法，劳务派遣单位可能会面临法律纠纷和赔偿责任。

举例说明：若劳务派遣单位未提前通知劳动者即解除劳动合同，劳动者有权要求劳务派遣单位支付违法解除劳动合同的赔偿金，赔偿金的计算标准为经济补偿标准的二倍。

四、综合建议

对于劳务派遣单位而言，在处理员工被退回后是否解除劳动合同的问题时，应严格遵守法律法规，确保劳动者的合法权益得到保障。同时，劳务派遣单位也应加强与用工单位的沟通，明确退回原因和责任，以便更好地处理此类问题。对于劳动者而言，若遇到此类情况，应了解自身权益和可能的法律后果，并及时向劳务派遣单位或相关部门咨询，以便根据具体情况制定合适的应对策略。

最后，若您在此方面有任何疑问或需要进一步的法律帮助，请随时向我咨询，我会根据您的具体情况提供详细的法律建议。