结论前置：放高利贷给智力残疾人，不仅可能违反民间借贷利率的法律规定，还可能因利用残疾人弱势地位而涉嫌违法犯罪，需根据具体情节承担相应法律责任。以下从民事、行政、刑事三个角度展开分析：

1. 民事层面：高利贷部分无效，借款人仅需偿还合法本息

根据《民法典》及《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，民间借贷利率超过合同成立时一年期贷款市场报价利率（LPR）四倍的部分不受法律保护。若出借人向智力残疾人放贷时约定超高利率（如年利率超过15.4%），超出部分的利息约定无效，借款人无需偿还。
特殊保护：智力残疾人属于限制民事行为能力人，若其无法独立理解借贷合同的法律后果（如利率、还款期限等），需经法定代理人（如父母、配偶）同意或追认，否则合同可能被认定为无效或可撤销。

2. 行政层面：可能面临行政处罚

若出借人以营利为目的，经常性向不特定对象（包括残疾人）发放高利贷，可能被认定为“职业放贷人”。根据《关于办理非法放贷刑事案件若干问题的意见》，非法放贷行为可能被处以罚款、没收违法所得，甚至吊销营业执照（如涉及金融机构）。
加重情节：针对智力残疾人等弱势群体放贷，可能被认定为“情节严重”，处罚力度更大。

3. 刑事层面：可能构成犯罪

若出借人通过高利贷实施以下行为，可能涉嫌刑事犯罪：

• 诈骗罪：以虚假理由诱骗智力残疾人借贷，或伪造借款文件骗取财物；
  
• 敲诈勒索罪：以暴力、威胁手段逼迫残疾人还款，或利用其智力缺陷恶意垒高债务；
  
• 非法经营罪：未经批准，长期向多人（包括残疾人）发放高利贷，扰乱金融秩序；
  
• 虐待被监护、看护人罪（如涉及监护关系）：若出借人同时是残疾人的监护人，利用其地位放贷并虐待、剥削。

处理建议

1. 借款人（或家属）：
   
   • 收集借贷合同、转账记录、催款证据（如录音、聊天记录）；
     
   • 向法院起诉确认高利贷部分无效，或主张合同无效/可撤销；
     
   • 若遭遇暴力催债，立即报警并保留证据。
     
2. 出借人：
   
   • 立即停止违法行为，主动与借款人协商减免非法利息；
     
   • 若已涉及刑事风险，尽快自首并退赔违法所得。

提示：智力残疾人因认知能力受限，极易成为高利贷的受害者。法律对此类行为持严厉打击态度，出借人切勿心存侥幸。如有具体案件细节，可进一步向我咨询，我会结合证据提供针对性方案。