派遣单位不可以直接将员工被退回作为解除劳动合同的条件，能否解除劳动合同需根据具体情形和相关法律规定来判断。以下是对此问题的详细分析：

一、一般情况下不能随意解除

根据《劳动合同法》及相关法律法规，劳务派遣单位是用人单位，与被派遣劳动者存在劳动关系。当劳动者被用工单位退回时，在正常情形下，劳务派遣单位不能直接以此为由解除与劳动者的劳动合同。因为退回并不必然意味着劳动者存在过错或符合法定解除劳动合同的条件。劳务派遣单位应继续履行用人单位的职责，为劳动者提供合适的岗位或采取其他合理措施，如按照不低于所在地人民政府规定的最低工资标准，向其按月支付报酬。

二、存在法定情形时可以解除

1. 劳动者过错情形：
   • 在试用期间被证明不符合录用条件的；
   • 严重违反用工单位（或劳务派遣单位，视具体情况而定）的规章制度的；
   • 严重失职、营私舞弊，给用工单位（或劳务派遣单位）造成重大损害的；
   • 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用工单位（或劳务派遣单位）提出，拒不改正的；
   • 因欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同，致使劳动合同无效的；
   • 被依法追究刑事责任的。

在上述情形下，即便劳动者是被用工单位退回，劳务派遣单位也可以依法解除与劳动者的劳动合同，且无需支付经济补偿。

1. 非劳动者过错情形：
   • 劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作的；
   • 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的。

在这些情形下，如果用工单位将劳动者退回劳务派遣单位，并且劳务派遣单位无法为劳动者重新安排合适的派遣岗位，那么劳务派遣单位在履行法定程序（如提前通知劳动者、支付相应经济补偿等）后，可以解除劳动合同。

三、解除程序的合法性

无论在哪种情形下解除劳动合同，劳务派遣单位都必须确保解除程序的合法性。这包括提前通知劳动者、支付经济补偿金（如适用）、办理离职手续等。如果解除程序不合法，劳务派遣单位可能会面临法律纠纷和赔偿责任。例如，若未提前通知劳动者或未支付经济补偿金，劳动者有权向劳动争议仲裁委员会申请仲裁，要求劳务派遣单位承担相应的法律责任。

四、实际操作建议

对于劳务派遣单位而言，在处理劳动者被退回事宜时，应严格遵守法律法规，确保劳动者的合法权益得到保障。具体而言，可以采取以下措施：

1. 审查退回原因：仔细审查用工单位退回劳动者的原因，判断是否符合法定解除劳动合同的条件。
2. 与劳动者沟通：与劳动者进行充分沟通，了解其意愿和实际情况，尽量协商解决后续事宜。
3. 履行法定程序：如需解除劳动合同，应确保履行法定程序，如提前通知、支付经济补偿金等。
4. 寻求法律支持：在处理复杂或疑难问题时，可以寻求专业律师的法律支持，以确保处理过程的合法性和合理性。

综上所述，派遣单位不可以直接将员工被退回作为解除劳动合同的条件。在实际操作中，劳务派遣单位应严格遵守法律法规，确保劳动者的合法权益得到保障，并遵循合法的解除程序来避免潜在的法律风险。如有任何疑问或需要进一步的法律支持，请直接向我咨询。