虐待残疾人的行为主要由公安机关负责管理，同时，残疾人联合会、民政部门以及司法机关也根据具体情况承担相应的管理或处理职责。以下是对这一问题的详细分析：

1. 公安机关：

   • 主要职责：公安机关是维护社会治安和打击犯罪的主要力量。对于虐待残疾人的行为，如果构成犯罪（如虐待罪、故意伤害罪等），公安机关将依法进行立案侦查，收集证据，并移送检察机关审查起诉。
   • 法律依据：根据《中华人民共和国刑法》的相关规定，虐待家庭成员，情节恶劣的，构成虐待罪；故意伤害他人身体的，构成故意伤害罪。这些条款同样适用于虐待残疾人的情况。

2. 残疾人联合会：

   • 主要职责：残疾人联合会是代表残疾人共同利益、维护残疾人合法权益、为残疾人服务的社会团体。他们可以接受残疾人的投诉和求助，为残疾人提供法律援助、心理疏导等服务，并协助残疾人向相关部门反映问题。
   • 实际操作：当残疾人遭受虐待时，他们可以向当地的残疾人联合会寻求帮助。残疾人联合会将根据情况，为残疾人提供必要的支持和协助，包括联系公安机关、法律援助机构等。

3. 民政部门：

   • 主要职责：民政部门负责社会救助、社会福利等工作。对于虐待残疾人导致其生活陷入困境的情况，民政部门可以提供临时救助、安置等服务，确保残疾人的基本生活得到保障。
   • 法律依据：根据《中华人民共和国残疾人保障法》的相关规定，国家保障残疾人享有平等参与社会生活的权利，禁止歧视、侮辱、侵害残疾人。民政部门在履行职责时，应确保残疾人的合法权益得到保护。

4. 司法机关：

   • 主要职责：司法机关包括法院和检察院。法院负责审理案件，对虐待残疾人的犯罪行为进行审判，并作出相应的判决。检察院则负责监督公安机关的侦查活动，对犯罪嫌疑人提起公诉，并维护残疾人的合法权益。
   • 法律依据：根据《中华人民共和国刑事诉讼法》的相关规定，检察院对公安机关的侦查活动进行监督，确保侦查活动的合法性和有效性。法院则根据事实和法律，对案件进行公正审判。

特殊情况下的处理：

• 如果虐待行为发生在家庭内部，且情节轻微，不构成犯罪，那么公安机关可能会根据《中华人民共和国治安管理处罚法》的相关规定，对虐待者进行行政处罚，如警告、罚款、拘留等。
• 如果虐待行为导致残疾人身体受到严重伤害或死亡，那么公安机关将依法立案侦查，并移送检察机关审查起诉。同时，残疾人或其家属也可以向法院提起民事诉讼，要求虐待者承担民事赔偿责任。

建议：

• 如果您或您身边的残疾人遭受了虐待，请立即向公安机关报案，并寻求残疾人联合会、民政部门或司法机关的帮助。
• 在处理虐待残疾人的案件时，应确保残疾人的合法权益得到充分保护，包括提供法律援助、心理疏导等服务。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。