单位不可以随意开除残疾人，是否能够开除需根据具体情况判断。具体分析如下：

1. 法律对残疾人的特殊保护
   根据《中华人民共和国劳动法》《中华人民共和国劳动合同法》及《残疾人保障法》，用人单位与残疾人劳动者建立劳动关系后，不得以“身体残疾”为由单方面解除劳动合同。法律明确禁止基于残疾的歧视性解雇行为，用人单位需保障残疾人的平等就业权。

2. 合法解除劳动合同的情形
   若残疾人劳动者存在以下情形，用人单位可依法解除劳动合同，但需履行法定程序：

   • 严重违反规章制度：如多次旷工、严重失职造成重大损失等，但需有明确证据证明违规行为与残疾无关；
     
   • 试用期不符合录用条件：需在劳动合同中明确约定录用条件，且该条件与岗位需求直接相关；
     
   • 被依法追究刑事责任：如因犯罪被判处刑罚；
     
   • 医疗期满后不能从事原工作：需经劳动能力鉴定确认无法胜任，且用人单位需提前30日书面通知或额外支付一个月工资。

3. 经济性裁员的限制
   根据《劳动合同法》第41条，用人单位进行经济性裁员时，应当优先留用残疾人员工。若必须裁减残疾人，需向劳动行政部门报告裁员方案，并说明理由。

4. 违法解除的后果
   若用人单位无正当理由开除残疾人，劳动者可主张：

   • 继续履行劳动合同：要求恢复劳动关系；
     
   • 赔偿金：按经济补偿标准的2倍支付（工作每满1年支付1个月工资）；
     
   • 补缴社保、工资差额：若因解雇导致社保中断或工资损失。

建议：

• 用人单位应完善内部无障碍管理制度，避免因管理疏忽引发纠纷；
  
• 残疾人劳动者若遭遇违法解雇，可收集劳动合同、工资记录、解雇通知等证据，通过劳动仲裁或诉讼维权；
  
• 双方均可通过协商、调解（如企业工会、残联介入）化解争议，降低维权成本。
  

如有具体案例或细节需要进一步分析，可直接向我咨询。