残疾人就业保障金的人数计算并不是基于平均人数，而是基于用人单位在职职工的实际人数。具体来说，用人单位应当按照不少于本单位在职职工总数1.5%的比例安排残疾人就业。这里的“在职职工总数”是指用人单位在编人员或依法与用人单位签订1年以上（含1年）劳动合同（服务协议）的人员的总数。

如果用人单位的实际在职职工人数中残疾人比例达不到规定比例，那么就需要按照相关规定缴纳残疾人就业保障金。保障金的计算会考虑到用人单位在职职工的工资总额以及职工平均工资与当地社会平均工资的关系，但计算的基础仍然是实际在职职工的人数，而非平均人数。

因此，对于用人单位来说，在计算是否需要缴纳残疾人就业保障金以及缴纳金额时，应当基于本单位的实际在职职工人数进行考虑。