劳务派遣给用人单位的人员，用人单位本身并没有直接开除的资格，但可以在特定情况下将劳动者退回劳务派遣单位，由劳务派遣单位依法处理劳动关系。以下是对这一问题的详细分析：
一、用人单位的角色与限制
在劳务派遣关系中，用人单位（即实际使用劳动者的单位）与劳务派遣单位签订劳务派遣协议，由劳务派遣单位与劳动者建立劳动关系，并将劳动者派遣至用人单位工作。因此，用人单位并不直接与劳动者签订劳动合同，也就没有直接开除劳动者的法律资格。用人单位的角色更多是使用劳动者，并按照劳务派遣协议的约定支付劳务费用。
二、用人单位退回劳动者的情形
虽然用人单位不能直接开除劳动者，但在某些特定情况下，用人单位可以将劳动者退回劳务派遣单位。这些情形通常包括：
劳动者严重违反用人单位规章制度：如果劳动者在用人单位工作期间严重违反了用人单位的规章制度，且这种违反行为达到了可以解除劳动合同的程度，用人单位可以将劳动者退回劳务派遣单位。
劳动者严重失职、营私舞弊给用人单位造成重大损害：如果劳动者因严重失职或营私舞弊行为给用人单位造成了重大损害，用人单位同样有权将劳动者退回。
劳动者患病或非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作：在这种情况下，用人单位也可以将劳动者退回劳务派遣单位。
劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作：如果劳动者在用人单位工作期间不能胜任工作，且经过培训或调整工作岗位后仍不能胜任，用人单位同样有权将其退回。
三、劳务派遣单位的责任与处理
当用人单位将劳动者退回劳务派遣单位后，劳务派遣单位需要依法处理与劳动者的劳动关系。这包括：
审查退回理由的合法性：劳务派遣单位需要审查用人单位退回劳动者的理由是否合法、合规，以及是否符合劳务派遣协议的约定。
依法处理劳动关系：如果劳动者不存在可被解除劳动合同的情形，劳务派遣单位不得随意与其解除劳动合同。相反，劳务派遣单位应妥善安排劳动者，如重新派遣到其他用工单位或按照劳务派遣协议的约定进行处理。
支付经济补偿：如果因用人单位的原因导致劳动者被退回，且劳务派遣单位决定与劳动者解除劳动合同，那么劳务派遣单位需要按照相关法律法规的规定向劳动者支付经济补偿。
四、法律后果与维权途径
如果用人单位或劳务派遣单位违反法律规定，随意退回或开除劳动者，将承担相应的法律责任。劳动者有权通过合法途径维护自身权益，这包括但不限于：
向劳动监察部门投诉：劳动者可以向当地劳动监察部门投诉用人单位或劳务派遣单位的违法行为。
申请劳动仲裁：劳动者还可以向劳动争议仲裁委员会申请劳动仲裁，要求用人单位或劳务派遣单位承担相应的法律责任。
提起诉讼：如果劳动者对劳动仲裁结果不满，还可以向人民法院提起诉讼，通过司法途径维护自身权益。
建议：作为劳动者，在遇到类似情况时，应首先了解自己的权益和法律法规的规定。如果认为自己的权益受到了侵害，可以及时收集证据并咨询专业律师（比如我）的意见，以便更好地维护自己的合法权益。同时，也建议用人单位和劳务派遣单位在处理劳动关系时严格遵守法律法规的规定，确保劳动者的合法权益得到充分保障。