用人单位不能一直卡着残疾人不让其离职。以下从多个角度为你详细分析：

法律层面

1. 劳动者享有离职自由权 根据《中华人民共和国劳动合同法》第三十七条规定，劳动者提前三十日以书面形式通知用人单位，可以解除劳动合同。劳动者在试用期内提前三日通知用人单位，可以解除劳动合同。这一规定适用于所有劳动者，包括残疾劳动者。也就是说，残疾劳动者只要按照法律规定提前通知用人单位，就有权解除劳动合同，用人单位无权阻拦。
2. 用人单位限制离职可能构成违法 如果用人单位以各种理由，如担心残疾劳动者离职后生活困难、认为残疾劳动者难以找到新工作等，强行阻止残疾劳动者离职，这种行为可能构成违法。用人单位的这种做法侵犯了残疾劳动者的自主择业权，残疾劳动者可以通过劳动仲裁等法律途径维护自己的合法权益。例如，残疾劳动者可以向当地劳动争议仲裁委员会申请仲裁，要求用人单位为其办理离职手续，并可能要求用人单位承担因违法阻拦离职而给其造成的损失。

特殊情况分析

1. 存在服务期约定的情况 如果用人单位与残疾劳动者签订了服务期协议，且残疾劳动者在服务期内提出离职，那么需要按照协议约定承担相应的违约责任。根据《中华人民共和国劳动合同法》第二十二条规定，用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。但违约金的数额不得超过用人单位提供的培训费用，用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。不过，即使存在服务期约定，残疾劳动者在符合法律规定的情况下仍然有权离职，只是需要承担相应的违约责任，而不是被用人单位无限期阻拦离职。
2. 涉及商业秘密或竞业限制的情况 如果残疾劳动者掌握了用人单位的商业秘密或者与用人单位签订了竞业限制协议，在离职时需要遵守相关的保密义务和竞业限制约定。但这并不意味着用人单位可以以此为由阻止残疾劳动者离职。在竞业限制期限内，用人单位需要按照约定向劳动者支付经济补偿，劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。然而，这并不影响残疾劳动者在符合法律规定的情况下解除劳动合同的权利。

实际建议

1. 与用人单位协商沟通 如果残疾劳动者想要离职，但用人单位存在阻拦的情况，首先可以尝试与用人单位进行友好协商沟通。向用人单位说明自己离职的原因和意愿，争取用人单位的理解和支持，按照正常流程办理离职手续。
2. 寻求劳动监察部门帮助 如果协商无果，残疾劳动者可以向当地劳动监察部门投诉。劳动监察部门有权对用人单位的违法行为进行调查和处理，责令用人单位改正违法行为，为残疾劳动者办理离职手续。
3. 申请劳动仲裁 如果劳动监察部门的处理结果不能满足残疾劳动者的需求，残疾劳动者还可以向当地劳动争议仲裁委员会申请仲裁。在仲裁过程中，残疾劳动者需要提供相关证据，如劳动合同、通知离职的书面材料、用人单位阻拦离职的证据等，以证明自己的主张。仲裁委员会将根据事实和法律规定作出裁决，维护残疾劳动者的合法权益。

如果你在劳动仲裁方面还有其他问题，欢迎直接向我咨询。