您好，针对您提出的“精残人员过世后想把遗产继承给谁是否必须给监护人”的问题，这其实涉及到遗产继承和遗产管理两个方面的法律问题。

首先，关于遗产继承，根据《民法典》的相关规定，遗产的继承并不一定要给监护人。遗产的继承顺序和份额是由法律明确规定的，通常包括第一顺序继承人（配偶、子女、父母）和第二顺序继承人（兄弟姐妹、祖父母、外祖父母）。如果精残人员生前有立遗嘱，那么遗产的分配将按照遗嘱进行。如果没有遗嘱，则按照法定继承顺序进行分配。

其次，关于遗产管理，如果精残人员过世后，其遗产无人管理或者继承人难以妥善管理，根据《民法典》继承编新增的遗产管理人制度，利害关系人有权向法院申请指定遗产管理人。这里的“利害关系人”并不仅限于继承人、受遗赠人或遗产债权人，还包括那些对被继承人扶养较多，与遗产存在法律上利害关系的人。例如，在您提到的情境中，如果精残人员生前有非亲属但对其扶养较多的人，这些人也有权申请成为遗产管理人。

遗产管理人的职责是保障遗产的完整性和安全性，通过公平、有序地分配遗产，使遗产上各项权利得以实现。如果精残人员希望其遗产在过世后得到妥善管理，并按照其意愿进行分配，可以在生前立下遗嘱，明确遗产的分配方案和管理人。如果没有遗嘱，且存在多个继承人或遗产管理争议，那么法院将根据相关法律规定和实际情况，指定合适的遗产管理人。

综上所述，精残人员过世后，其遗产的继承并不一定要给监护人，而是按照法定继承顺序或遗嘱进行分配。同时，如果遗产无人管理或继承人难以妥善管理，利害关系人有权向法院申请指定遗产管理人。希望这个解答能够帮助您更好地理解相关法律问题。如果您还有其他疑问或需要进一步的法律帮助，请随时咨询。