变更限制行为人的监护权确实是一个涉及法律程序和严格条件的过程，但并非不可实现。下面我将从法律依据、变更条件、申请程序以及所需证据等方面，为您详细解答这一问题。

一、法律依据

根据《中华人民共和国民法典》的相关规定，监护权的变更是有明确法律依据的。当监护人无法有效履行监护职责，或者对被监护人的权益造成严重损害时，人民法院可以根据有关个人或组织的申请，撤销其监护人资格，并依法指定新的监护人。

二、变更条件

变更监护权通常需要满足以下条件之一：

1. 监护人怠于履行监护职责，或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人，导致被监护人处于危困状态。
2. 监护人实施严重损害被监护人身心健康的行为。
3. 监护人实施严重侵害被监护人合法权益的其他行为。

三、申请程序

变更监护权的程序通常包括以下步骤：

1. 申请人提出申请：申请人可以是未成年人的生父母、长期抚养未成年人的祖父、兄姐等，或者与被监护人生活非常亲密的亲属或组织。他们需要向人民法院提出变更监护权的申请。
2. 法院审理：法院会根据具体情形，从有利于被监护人身心成长的原则出发，对申请进行审理。这包括审查申请人提供的证据、听取相关人员的意见等。
3. 作出裁判：如果法院认为申请符合法律规定，且变更监护权有利于被监护人的利益，那么法院会作出相应的裁判，撤销原监护人的资格，并指定新的监护人。

四、所需证据

在申请变更监护权时，申请人需要提供充分的证据来证明监护人存在上述法定情形。这些证据可能包括：

1. 监护人怠于履行监护职责的证据，如被监护人的生活状况、健康状况等。
2. 监护人实施严重损害被监护人身心健康或合法权益的行为的证据，如医疗记录、报警记录、证人证言等。

五、难度分析

变更监护权的难度主要取决于能否提供充分的证据来证明监护人存在法定情形，以及法院是否认为变更监护权有利于被监护人的利益。如果申请人能够提供确凿的证据，并且法院认为变更监护权是必要的，那么变更监护权的过程就会相对顺利。然而，如果证据不足或者法院认为变更监护权不利于被监护人的利益，那么变更监护权的过程可能会面临困难。

综上所述，变更限制行为人的监护权并非易事，但只要满足法定条件、遵循法律程序并提供充分证据，就有可能实现。如果您或您身边的人面临类似情况，建议咨询专业律师以获取更具体的法律建议和帮助。