要解除残疾人的监护人关系，通常需要依据《中华人民共和国民法典》的相关规定，并通过法律程序来实现。以下是一个清晰、详细且有深度的解答：
一、法律依据
根据《中华人民共和国民法典》第三十六条，监护人有下列情形之一的，人民法院可以根据有关个人或者组织的申请，撤销其监护人资格：
实施严重损害被监护人身心健康的行为：
- 这包括但不限于虐待、遗弃、暴力对待被监护人等行为。
怠于履行监护职责，或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人，导致被监护人处于危困状态：
- 监护人如果长期不履行监护职责，如不提供生活照料、不进行医疗护理等，或者因自身原因无法履行监护职责且拒绝委托他人，导致被监护人生活陷入困境，可以申请撤销其监护资格。
实施严重侵害被监护人合法权益的其他行为：
- 这包括侵占、转移被监护人财产，或者利用被监护人进行非法活动等行为。
二、申请主体
有权申请撤销监护人资格的个人和组织包括：
- 其他依法具有监护资格的人：如被监护人的其他亲属。
- 居民委员会、村民委员会：作为基层群众自治组织，有权对监护人进行监督。
- 学校、医疗机构、妇女联合会、残疾人联合会、未成年人保护组织、依法设立的老年人组织：这些组织在各自领域内对被监护人负有保护责任。
- 民政部门：在个人和其他组织未及时申请时，民政部门应当向人民法院申请。
三、申请程序
收集证据：
- 申请人需要收集能够证明监护人存在上述情形的证据，如有关组织出具的证明、证人证言、视频音像资料、诊断证明、银行交易记录等。
向人民法院提出申请：
- 申请人应当向被监护人住所地或者监护人住所地的基层人民法院提出申请，并提交相关证据。
法院审理与判决：
- 人民法院在受理申请后，会进行审理，并根据证据情况作出判决。如果判决撤销监护人资格，人民法院会安排必要的临时监护措施，并按照最有利于被监护人的原则依法指定新的监护人。
四、注意事项
- 证据充分性：申请人需要提供充分的证据来证明监护人存在怠于履行监护职责或实施损害被监护人身心健康的行为。
- 最有利于被监护人原则：在撤销监护人资格并指定新的监护人时，人民法院会遵循最有利于被监护人的原则。
- 避免亲情伤害：在处理监护人资格撤销及变更纠纷时，应本着最有利于被监护人人身和财产权益的原则，避免为了钱财而伤害亲情。
综上所述，要解除残疾人的监护人关系，需要依据《中华人民共和国民法典》的相关规定，通过法律程序向人民法院提出申请，并提供充分的证据来证明监护人存在怠于履行监护职责或实施损害被监护人身心健康的行为。