长期虐待残疾人应该受到的处罚，主要依据虐待的严重程度以及造成的后果来确定。以下是对此问题的详细解答：
依据治安管理处罚法：
- 如果虐待行为尚未构成犯罪，但虐待了家庭成员或残疾人，且被虐待人要求处理的，或者遗弃了没有独立生活能力的被扶养人，依据《中华人民共和国治安管理处罚法》第四十五条的规定，可以处五日以下拘留或者警告。
依据刑法：
- 如果虐待行为情节恶劣，构成了犯罪，那么将依据《中华人民共和国刑法》的相关规定进行处罚。
- 对于虐待家庭成员，情节恶劣的，依据刑法第二百六十条的规定，可以处二年以下有期徒刑、拘役或者管制。如果虐待行为致使被害人重伤、死亡的，将处二年以上七年以下有期徒刑。需要注意的是，这款罪通常告诉才处理，但如果被害人没有能力告诉，或者因受到强制、威吓无法告诉的，则不在此限。
- 对于负有监护、看护职责的人虐待被监护、看护的残疾人，情节恶劣的，依据刑法第二百六十条之一的规定，可以处三年以下有期徒刑或者拘役。如果单位犯此罪的，还将对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照前款的规定处罚。
综上所述，长期虐待残疾人可能面临的处罚包括治安管理处罚法的拘留或警告，以及刑法规定的有期徒刑、拘役或者管制等。具体处罚将依据虐待的严重程度、造成的后果以及虐待者的身份等因素来确定。如果你或你身边的人遭遇了此类问题，建议及时向我咨询，我将为你提供专业的法律帮助。