拆除违法建设涉及残疾人时，应遵循合法、合理、人权保障的原则，确保程序正当且充分保障残疾人的合法权益。具体处理方式需结合以下多个角度进行分析：

1. 违法建设的认定与拆除程序
   根据《城乡规划法》《行政强制法》等法律规定，违法建设的认定需以行政机关依法调查取证为前提，拆除前应履行催告、听取陈述申辩、作出强制执行决定等法定程序。若残疾人所有的建筑被认定为违法建设，行政机关仍需严格依法定程序推进，不得因当事人残疾而简化或省略程序。

2. 对残疾人的特殊保护义务

   • 程序便利性：行政机关应主动为残疾人提供合理便利，例如通过书面通知、上门告知、手语翻译等方式确保其知情权；对行动不便的残疾人，可适当延长陈述申辩期限。
     
   • 实体权益保障：若拆除行为可能导致残疾人生活陷入严重困难（如唯一住所被拆除），行政机关应依据《行政强制法》第42条，在不影响公共利益的前提下暂缓执行，并协助其解决基本居住问题。
     
   • 补偿与安置：若拆除涉及合法财产权益（如部分建筑合法、部分违法），残疾人作为弱势群体，在补偿标准上可依法主张适当倾斜；若因拆除导致残疾辅助器具损坏或生活障碍，行政机关应承担相应赔偿责任。

3. 法律救济途径

   • 行政复议与诉讼：残疾人若对拆除决定不服，可在法定期限内申请行政复议或提起行政诉讼，法院将重点审查行政程序合法性及对残疾人权益的保障措施。
     
   • 国家赔偿请求：若行政机关违法拆除导致残疾人财产损失或人身伤害，可依据《国家赔偿法》主张赔偿，包括直接损失（如建筑残值）和间接损失（如临时安置费用）。

4. 社会支持与联动机制
   建议残疾人或其家属及时联系当地残联、社区或法律援助机构，通过多部门协同机制争取政策支持（如廉租房申请、残疾补贴调整等），最大限度降低拆除行为对生活的影响。

提示：具体案件需结合违法建设性质、残疾人残疾等级、当地政策等因素综合判断。若您面临此类问题，可直接向我提供详细信息，我将进一步分析法律风险及应对策略。