关于残疾人单位是否可以解除劳动合同的问题，这需要根据具体情况以及相关法律法规来综合判断。以下是对此问题的详细解答：
一、不能随意解除的情况（受法律特殊保护）
根据《中华人民共和国残疾人保障法》及《劳动合同法》的相关规定，残疾人在劳动合同的多个方面享有平等权利，且在特定情形下，用人单位不得解除劳动合同。这些情形包括但不限于：
- 从事接触职业病危害作业的劳动者：若未进行离岗前职业健康检查，或疑似职业病病人在诊断或医学观察期间，单位不得解除劳动合同。
- 在本单位患职业病或因工负伤：若被确认丧失或部分丧失劳动能力，单位同样不得解除劳动合同。
- 患病或非因工负伤：在规定的医疗期内，单位不得解除劳动合同。
- 女职工在孕期、产期、哺乳期：这些特殊时期内，单位也不得解除劳动合同。
- 在本单位连续工作满十五年，且距法定退休年龄不足五年：这种情况下，单位同样受到法律限制，不得随意解除劳动合同。
二、可以解除的情况（符合法定条件）
尽管残疾人在劳动合同方面享有特殊保护，但在符合法定条件时，单位仍可以解除劳动合同。这些情形包括：
- 协商一致解除：根据《劳动合同法》第三十六条，用人单位与劳动者可以在协商一致的基础上解除劳动合同。这种情况下，双方应就经济补偿等事宜达成一致。
- 劳动者存在过错：若劳动者存在《劳动合同法》第三十九条列举的过错情形，如试用期间不符合录用条件、严重违反规章制度等，单位可以依法解除劳动合同。
- 经济性裁员：在进行经济性裁员时，虽然应优先留用残疾人等特殊人员，但若确需解除与残疾员工的劳动合同，单位必须按照法定程序操作，如提前30日向工会或全体职工说明情况，并支付经济补偿。
三、伤残员工的特殊情况
对于伤残员工，其劳动合同的解除还需根据伤残等级来综合判断：
- 一至四级伤残：劳动者被鉴定为一至四级伤残（完全丧失劳动能力）时，用人单位不得解除劳动合同。劳动者应保留劳动关系，退出工作岗位，并享受相应的伤残津贴等工伤保险待遇。
- 五至六级伤残（大部分丧失劳动能力）：用人单位原则上不得主动解除劳动合同，但经劳动者本人提出，可以与用人单位解除或终止劳动关系。解除后，由工伤保险基金支付一次性工伤医疗补助金，用人单位支付一次性伤残就业补助金。
- 七至十级伤残（部分丧失劳动能力）：劳动合同期满终止或职工本人提出解除劳动合同时，用人单位可以解除劳动合同。解除后，用人单位需支付一次性工伤医疗补助金和伤残就业补助金。
四、违法解除的后果
若用人单位违反法律规定解除劳动合同，将依照经济补偿标准的二倍向劳动者支付赔偿金，并承担严重的法律责任。
五、操作建议
- 充分了解法律规定：用人单位在解除与残疾员工的劳动合同时，应充分了解相关法律法规，确保解除行为合法合规。
- 充分沟通协商：建议在解除合同前与残疾员工进行充分沟通，尽量通过协商一致的方式解决，避免法律风险。
- 依法支付补偿：无论因何种原因解除劳动合同，用人单位都应依法支付劳动者相应的经济补偿或赔偿金。对于伤残员工，还需根据伤残等级和法律规定支付特定的工伤医疗补助金、伤残就业补助金等费用。
综上所述，单位在解除与残疾人的劳动合同时，必须严格遵守法律规定，确保解除行为的合法性和合理性。同时，也应加强对残疾员工的保护和关爱，促进社会的和谐与进步。