结论：单位在解除与残疾人的劳动合同时，必须严格遵守法律规定，不得随意解除。仅在符合法定条件时，如协商一致、劳动者存在过错或经济性裁员等特定情形下，才可依法解除劳动合同。
一、不能解除的情况（受法律特殊保护）
法律依据与原则：
- 根据《中华人民共和国残疾人保障法》第三十三条及《劳动合同法》第四十二条，残疾人在劳动合同的招用、聘用、转正、晋级、职称评定、劳动报酬、生活福利、劳动保险等方面享有平等权利，用人单位不得歧视，并在特定情形下不得解除劳动合同。
具体保护情形：
- 从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或疑似职业病病人在诊断或医学观察期间。
- 在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力。
- 患病或非因工负伤，在规定医疗期内。
- 女职工在孕期、产期、哺乳期。
- 在本单位连续工作满十五年，且距法定退休年龄不足五年。
- 其他法律、行政法规规定的情形。
实例说明：
- 如残疾员工因工作受伤并部分丧失劳动能力，单位不能以经济性裁员或员工不能胜任工作为由解除其劳动合同。
二、可以解除的情况（符合法定条件）
协商一致解除：
- 法律依据：《劳动合同法》第三十六条允许用人单位与劳动者在协商一致的基础上解除劳动合同。
- 实例：单位因业务调整需外包部分工作，经与残疾员工充分沟通后，双方同意解除劳动合同，并就经济补偿达成一致。
劳动者存在过错：
- 法律依据：《劳动合同法》第三十九条列举了劳动者存在过错时可解除劳动合同的情形，包括试用期间不符合录用条件、严重违反规章制度、严重失职营私舞弊等。
- 实例：残疾员工多次无故旷工，严重违反单位规章制度，经教育不改，单位可依据此规定解除劳动合同。
经济性裁员：
- 特别注意：在进行经济性裁员时，应优先留用残疾人等特殊人员。若确需解除与残疾员工的劳动合同，必须按照法定程序操作，如提前30日向工会或全体职工说明情况，并支付经济补偿。
三、违法解除的后果
- 若用人单位违反法律规定解除劳动合同，将依照经济补偿标准的二倍向劳动者支付赔偿金，承担严重的法律责任。
四、操作建议
- 用人单位在解除与残疾员工的劳动合同时，应充分了解相关法律规定，确保解除行为合法合规。
- 建议在解除合同前与残疾员工进行充分沟通，尽量通过协商一致的方式解决，避免法律风险。
- 在制定和执行规章制度时，应确保内容合法合理，并确保所有员工（包括残疾员工）知晓并遵守。
综上所述，单位在解除与残疾人的劳动合同时，必须严格遵守法律规定，确保解除行为的合法性和合理性。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。