针对您提出的“精神残疾人爸爸不想担任监护人怎么办”的问题，这确实是一个涉及法律与家庭关系的复杂情况。以下是我根据相关法律法规和实际情况，为您提供的详细解答：

首先，我们需要明确的是，根据《中华人民共和国民法典》的相关规定，对于无民事行为能力或者限制民事行为能力的成年人，其监护人的确定是有明确顺序和规定的。在父母、子女作为第一顺序监护人的情况下，如果父亲（即您提到的精神残疾人的爸爸）不想担任监护人，那么可以考虑以下几种途径：

1. 协议确定监护人：

   • 依法具有监护资格的人之间可以协议确定监护人。这意味着，除了父亲之外，其他有监护能力的近亲属（如子女、其他兄弟姐妹等）可以协商并达成一致，确定新的监护人。
   • 协议确定监护人时，应当尊重被监护人的真实意愿，确保被监护人的权益得到保障。

2. 由居民委员会、村民委员会或民政部门指定监护人：

   • 如果对监护人的确定存在争议，或者无法通过协议确定监护人，那么可以由被监护人住所地的居民委员会、村民委员会或者民政部门指定监护人。
   • 这些组织在指定监护人时，会综合考虑被监护人的实际情况、监护人的监护能力以及被监护人的意愿等因素。

3. 向人民法院申请指定监护人：

   • 如果有关当事人对居民委员会、村民委员会或者民政部门指定的监护人不服，或者无法通过上述途径确定监护人，那么可以直接向人民法院申请指定监护人。
   • 人民法院在审理此类案件时，会依法进行审查，并根据被监护人的实际情况和监护人的监护能力等因素，作出公正的判决。

4. 特殊情况下的监护人确定：

   • 如果被监护人没有依法具有监护资格的人（如本案例中提到的王某，其父母、祖父母、外祖父母均已过世），那么监护人由民政部门担任，也可以由具备履行监护职责条件的被监护人住所地的居民委员会、村民委员会担任。

针对您的情况，如果精神残疾人的父亲不想担任监护人，您可以首先尝试与其他有监护能力的近亲属协商，看是否能达成一致并确定新的监护人。如果协商无果，或者存在其他争议，您可以向被监护人住所地的居民委员会、村民委员会或者民政部门寻求帮助，看是否能通过他们指定监护人。如果仍然无法解决问题，您还可以考虑向人民法院申请指定监护人。

在整个过程中，请务必确保被监护人的权益得到充分保障，尊重被监护人的真实意愿，并遵循相关法律法规的规定。希望这些解答能对您有所帮助。