若大家都不愿当精神病人的监护人，应依法通过相关程序指定监护人，并确保被监护人的合法权益得到妥善保护。
一. 依法指定监护人
确定监护人顺序：根据《中华人民共和国民法典》第二十八条，无民事行为能力或者限制民事行为能力的成年人，由下列有监护能力的人按顺序担任监护人：配偶、父母、子女、其他近亲属、其他愿意担任监护人的个人或者组织（需经被监护人住所地的居民委员会、村民委员会或者民政部门同意）。
申请指定监护人：若上述人员均不愿意担任监护人，或存在争议，根据《中华人民共和国民法典》第三十一条，可由被监护人住所地的居民委员会、村民委员会或者民政部门指定监护人，有关当事人对指定不服的，可以向人民法院申请指定监护人。法院或相关部门将按照最有利于被监护人的原则，在依法具有监护资格的人中指定监护人。
二. 确保被监护人权益
临时监护措施：在指定监护人前，若被监护人的人身权利、财产权利以及其他合法权益处于无人保护状态，根据《中华人民共和国民法典》第三十一条，由被监护人住所地的居民委员会、村民委员会、法律规定的有关组织或者民政部门担任临时监护人，以确保被监护人的基本生活和安全得到保障。
持续关注与监督：指定监护人后，应持续关注监护人的履职情况，确保被监护人的合法权益不受侵害。如发现监护人存在不履行监护职责或侵害被监护人权益的行为，应及时向相关部门反映，必要时可申请变更监护人。
我建议：在大家都不愿意担任监护人的情况下，应积极与相关部门沟通，依法申请指定监护人，并确保在指定过程中被监护人的权益得到充分保护。同时，也要持续关注监护人的履职情况，确保被监护人的生活质量和安全。如有进一步需要，您可以继续咨询我。