残疾人作为被派遣劳动者，用人单位（用工单位）一般不得随意将其退回劳务派遣单位，劳务派遣单位也不得随意与其解除劳动合同，但在符合法定情形时可以依法退回或解除。具体分析如下：
用工单位将残疾人退回劳务派遣单位的情形
- 协商一致退回
- 用工单位与劳务派遣单位、被派遣劳动者（残疾人）三方协商一致，可以依法将被派遣劳动者退回劳务派遣单位。这种情况下，各方基于平等自愿的原则达成一致意见，不违反法律法规的强制性规定，是合法有效的。例如，用工单位因业务调整，与劳务派遣单位和残疾人协商后，决定将该残疾人退回劳务派遣单位，重新安排其他合适的工作岗位。
- 客观情况重大变化退回
- 劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用工单位与劳务派遣单位协商，未能就变更劳动合同内容达成协议的，用工单位可以将残疾人退回劳务派遣单位。这里的客观情况重大变化通常包括企业迁移、被兼并、企业资产转移等重大事项。比如，用工单位因城市规划需要整体搬迁至其他城市，导致无法继续为残疾人提供原工作岗位，且与劳务派遣单位协商无法就变更劳动合同内容达成一致，此时可以依法退回。
- 经济性裁员退回
- 用工单位依照企业破产法规定进行重整的；生产经营发生严重困难的；企业转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员的；其他因劳动合同订立时所依据的客观经济情况发生重大变化，致使劳动合同无法履行的等情形，需要裁减人员二十人以上或者裁减不足二十人但占企业职工总数百分之十以上的，用工单位按照法定的程序和比例裁减被派遣劳动者（残疾人）时，可以将其退回劳务派遣单位。但需要注意的是，在经济性裁员中，用工单位应当优先留用与本单位订立较长期限的固定期限劳动合同的、订立无固定期限劳动合同的以及家庭无其他就业人员，有需要扶养的老人或者未成年人的被派遣劳动者。
- 试用期不符合录用条件退回
- 如果被派遣的残疾人在试用期内被证明不符合用工单位的录用条件，用工单位可以将其退回劳务派遣单位。但用工单位需要提供充分的证据证明残疾人在试用期内不符合录用条件，例如明确的录用条件标准、考核记录等。比如，用工单位招聘的是需要具备一定计算机操作技能的岗位，在试用期内发现该残疾人无法完成基本的计算机操作任务，经培训后仍不能达到要求，此时可以依法退回。
- 严重违反规章制度退回
- 被派遣的残疾人严重违反用工单位的规章制度的，用工单位可以将其退回劳务派遣单位。同样，用工单位需要有明确、合法、合理的规章制度，并且能够证明残疾人存在严重违反规章制度的行为。例如，用工单位规定员工不得在工作场所吸烟，而该残疾人在工作场所多次吸烟，经警告后仍不改正，严重违反了规章制度，用工单位可以将其退回。
- 严重失职、营私舞弊退回
- 被派遣的残疾人严重失职，营私舞弊，给用工单位造成重大损害的，用工单位可以将其退回劳务派遣单位。这里的“重大损害”需要用工单位在规章制度中进行明确界定，并且能够提供证据证明残疾人的行为给单位造成了符合该界定标准的损害。比如，残疾人负责保管单位的财物，因疏忽大意导致财物被盗，给单位造成了数万元的经济损失，符合单位规章制度中规定的重大损害标准，用工单位可以将其退回。
- 被依法追究刑事责任退回
- 被派遣的残疾人被依法追究刑事责任的，用工单位可以将其退回劳务派遣单位。这包括被人民法院判处刑罚（如管制、拘役、有期徒刑等）以及被人民法院免予刑事处罚等情况。
劳务派遣单位与残疾人解除劳动合同的情形
- 协商一致解除
- 劳务派遣单位与残疾人协商一致，可以解除劳动合同。双方在平等自愿的基础上，就解除劳动合同的相关事宜达成一致意见，签订解除劳动合同的协议，劳动合同即可解除。例如，劳务派遣单位因业务调整，与残疾人协商后，双方同意解除劳动合同，并就经济补偿等事项达成一致。
- 残疾人提前通知解除
- 残疾人提前三十日以书面形式通知劳务派遣单位，可以解除劳动合同。在试用期内，残疾人提前三日通知劳务派遣单位，可以解除劳动合同。这是残疾人依法享有的单方解除权，但需要按照法定的程序和期限履行通知义务。
- 劳务派遣单位过错解除
- 如果劳务派遣单位存在未按照劳动合同约定提供劳动保护或者劳动条件的、未及时足额支付劳动报酬的、未依法为残疾人缴纳社会保险费的、劳务派遣单位的规章制度违反法律、法规的规定，损害残疾人权益的、因《劳动合同法》第二十六条第一款规定的情形致使劳动合同无效的、法律、行政法规规定劳动者可以解除劳动合同的其他情形的，残疾人可以解除劳动合同。例如，劳务派遣单位长期拖欠残疾人的工资，残疾人可以依法解除劳动合同。
- 法定情形解除
- 劳务派遣单位在符合《劳动合同法》第三十九条、第四十条规定的情形下，可以解除与残疾人的劳动合同。
- 第三十九条规定的情形：包括在试用期间被证明不符合录用条件的；严重违反劳务派遣单位的规章制度的；严重失职，营私舞弊，给劳务派遣单位造成重大损害的；劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经劳务派遣单位提出，拒不改正的；因《劳动合同法》第二十六条第一款第一项规定的情形致使劳动合同无效的；被依法追究刑事责任的。
- 第四十条规定的情形：包括残疾人患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由劳务派遣单位另行安排的工作的；残疾人不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的；劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经劳务派遣单位与残疾人协商，未能就变更劳动合同内容达成协议的。但需要注意的是，在符合第四十条规定的情形下，劳务派遣单位提前三十日以书面形式通知残疾人本人或者额外支付残疾人一个月工资后，可以解除劳动合同。
特殊保护情形
根据《劳动合同法》《残疾人保障法》等相关法律法规的规定，用人单位对残疾人负有更多的保护义务。在解除劳动合同或退回残疾人时，需要更加谨慎地审查是否符合法定条件，并且要充分考虑残疾人的特殊情况。例如，对于残疾程度较重、就业能力较弱的残疾人，用工单位和劳务派遣单位在做出相关决定时应当给予更多的关怀和帮助，避免因不当退回或解除劳动合同给残疾人造成过大的生活困难。
如果用工单位或劳务派遣单位违法退回或解除与残疾人的劳动合同，残疾人可以依法向劳动争议调解仲裁机构申请调解、仲裁，对仲裁裁决不服的，还可以向人民法院提起诉讼，要求用人单位承担相应的法律责任，如继续履行劳动合同、支付赔偿金等。