退休人员不计入残保金的人数。残保金，即残疾人就业保障金，是为保障残疾人权益，由未按规定安排残疾人就业的机关、团体、企业、事业单位和民办非企业单位（统称用人单位）缴纳的资金。其计算和缴纳主要基于用人单位在职职工的总数和其中残疾人职工的比例。

根据相关规定，用人单位在职职工是指用人单位在编人员或依法与用人单位签订1年以上（含1年）劳动合同（服务协议）的人员。而退休人员通常已经与用人单位终止了劳动合同关系，不再属于在职职工的范畴，因此不计入残保金的人数统计中。

总的来说，退休人员不计入残保金的人数，用人单位在申报和缴纳残保金时，应严格按照规定统计在职职工人数，并确保残疾人职工的比例符合相关要求。