智力残缺的人打人，需根据其民事行为能力及具体情节，分情况处理，具体如下：

1. 若智力残缺者属于无民事行为能力人（如重度智力障碍者）或限制民事行为能力人（如中度智力障碍者）
   根据《民法典》第1188条，监护人需承担侵权责任。若监护人尽到监护职责，可减轻其责任。例如，若监护人已对被监护人采取合理约束措施（如专人看护、佩戴定位设备），但仍发生打人事件，监护人责任可适当减轻。
   处理流程：

   • 受害者或其家属可要求监护人赔偿医疗费、护理费等损失；
     
   • 若监护人拒绝赔偿，受害者可向法院起诉，由法院根据双方过错程度判定赔偿比例；
     
   • 若打人行为造成严重后果（如重伤、死亡），可能涉及刑事责任，但需通过司法鉴定确认行为人是否具有刑事责任能力。

2. 若智力残缺者具有完全民事行为能力（如轻度智力障碍者，能辨认自己行为）
   根据《民法典》第1165条，行为人需自行承担侵权责任。例如，若智力残缺者能理解打人行为的后果（如因纠纷故意殴打他人），则需赔偿受害者损失。
   处理流程：

   • 受害者可直接要求行为人赔偿；
     
   • 若行为人拒绝赔偿，受害者可报警或向法院起诉；
     
   • 若打人行为构成治安违法（如轻微伤），公安机关可依据《治安管理处罚法》对行为人处以拘留或罚款；
     
   • 若构成犯罪（如故意伤害罪），需经司法鉴定确认行为人是否具有刑事责任能力。若鉴定为完全刑事责任能力，则需承担刑事责任；若为限制刑事责任能力，可从轻或减轻处罚。

3. 特殊情形：监护人缺失或监护不力
   若智力残缺者无监护人（如孤儿）或监护人长期失职（如放任不管），可由居委会、村委会或民政部门担任临时监护人，并承担相应责任。受害者可向上述机构主张赔偿。

建议：

• 受害者应优先保留证据（如医疗记录、监控录像、证人证言）；
  
• 若涉及刑事责任，需及时报警并申请司法鉴定；
  
• 若对责任划分有疑问，可直接向我咨询具体案件细节。