关于雇主给工人买保险后，伤残费补偿应该归谁的问题，这主要取决于雇主是否依法为工人缴纳了工伤保险费，以及伤残的具体情况和相关法律规定。

首先，如果雇主已经按照法律规定为工人缴纳了工伤保险费，那么在工人发生工伤并导致伤残的情况下，大部分的伤残费用将由工伤保险基金来承担。这包括医疗费用、康复费用、住院伙食补助费、交通食宿费、伤残辅助器具费、生活护理费、一次性伤残补助金、按月领取的伤残津贴（针对一级至四级伤残）、一次性医疗补助金，以及因工死亡待遇等。这些费用的支付，旨在保障工伤工人在治疗和康复期间的基本需求，以及因伤残导致的长期生活困难。

然而，即使雇主已经缴纳了工伤保险费，仍有一些费用是需要由雇主来承担的。这主要包括停工留薪期的工资福利待遇，即工人在暂停工作接受治疗期间，其原工资福利待遇应保持不变，由雇主按月支付。此外，对于五级、六级伤残的工人，如果难以安排工作，雇主还需要按月发放伤残津贴。最后，当劳动、聘用合同期满终止或工人本人提出解除合同时，雇主还需要支付一次性伤残就业补助金。

如果雇主没有依法为工人缴纳工伤保险费，那么在工人发生工伤并导致伤残的情况下，原本应由工伤保险基金承担的所有赔偿项目，以及应由雇主承担的项目，都将由雇主自行承担。这是法律对劳动者权益的保护，确保工伤工人能够获得相应的赔偿。

总的来说，伤残费补偿的归属主要取决于雇主是否依法缴纳了工伤保险费，以及伤残的具体情况和相关法律规定。在大多数情况下，如果雇主已经缴纳了工伤保险费，那么大部分的伤残费用将由工伤保险基金来承担；但仍有部分费用需要由雇主来承担。如果雇主没有缴纳工伤保险费，那么所有赔偿费用都将由雇主自行承担。