遗嘱监护人确实可以拒绝担任监护人。

根据《中华人民共和国民法典》的相关规定，被监护人的父母可以通过遗嘱指定监护人。然而，《最高人民法院关于适用<中华人民共和国民法典>总则编若干问题的解释》第七条也明确规定，如果遗嘱生效时被指定的人不同意担任监护人，那么人民法院将依据民法典的其他规定来确定监护人。

具体来说，如果遗嘱监护人拒绝担任，法院会按照民法典第二十七条和第二十八条的顺序来指定监护人。这些条款通常规定了监护人的优先顺序，包括被监护人的配偶、父母、子女等近亲属。

此外，拒绝担任遗嘱监护人并不会产生法律责任。因为法律尊重个人的意愿和选择，如果某人被指定为监护人但不愿意承担这一职责，法律允许其拒绝，并且不会因此对其产生不利的法律后果。

综上所述，遗嘱监护人是有权拒绝担任监护人的，如果拒绝，法院将依法另行指定监护人。