结论：侵犯任何人的合法权益，包括被俗称为“傻子”的智力障碍者，都是违法的。具体违法性及法律后果需根据侵犯的具体行为和情节来判断。

分析：

1. 人格权保护：

   • 根据我国法律，每个人都享有平等的人格权，这包括生命权、身体权、健康权、姓名权、名誉权、荣誉权、隐私权等。智力障碍者，尽管可能在认知或行为能力上有所限制，但他们的人格权同样受到法律的严格保护。
   • 任何对智力障碍者的侮辱、诽谤、虐待、遗弃或非法剥夺其生命、健康等行为，都是对人格权的侵犯，将受到法律的制裁。

2. 具体违法行为及后果：

   • 侮辱、诽谤：如果对智力障碍者进行侮辱或诽谤，损害其名誉，可能构成侮辱罪或诽谤罪，根据情节轻重，可处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
   • 虐待、遗弃：对智力障碍者进行虐待或遗弃，情节恶劣的，可能构成虐待罪或遗弃罪，同样会受到法律的严厉惩罚。
   • 故意伤害、杀人：如果对智力障碍者实施故意伤害或杀人行为，将构成故意伤害罪或故意杀人罪，根据伤害程度或死亡结果，可处有期徒刑、无期徒刑甚至死刑。

3. 特殊保护：

   • 智力障碍者由于认知或行为能力的限制，往往更容易成为侵权行为的受害者。因此，法律对这类人群提供了特殊的保护，如设立监护人制度、提供社会救助等，以确保他们的合法权益不受侵害。

建议：

• 如果您或您身边的人发现有人对智力障碍者进行侵权行为，应立即向公安机关报案，以便及时制止侵权行为并保护受害者的合法权益。
• 对于智力障碍者本人或其监护人，应增强法律意识，了解并维护自己的合法权益。在必要时，可以寻求法律援助或咨询专业律师，以获取更具体的法律建议和帮助。

后续行动依据：

• 在处理此类案件时，公安机关、检察机关和法院将依据相关法律法规，对侵权行为进行调查、起诉和审判，确保法律的公正实施和受害者的合法权益得到保护。
• 如果您需要进一步的法律咨询或帮助，可以直接向我提问，我将根据您的具体情况提供专业的法律意见。