单位要推翻残疾人工伤认定书并非易事，这主要基于以下几个方面的原因：

首先，工伤认定通常经过了严谨的调查和审核程序，包括事故现场的调查、员工伤情的评估、相关证据的收集等，因此具有较高的权威性和公信力。这意味着，一旦工伤认定书被出具，它就成为了员工受伤情况的重要法律凭证，单位想要推翻它需要面临较高的法律门槛。

其次，如果单位认为工伤认定书存在错误或不符合实际情况，它需要通过法定的途径来寻求救济，比如行政复议或行政诉讼。在这些程序中，单位需要提交充分的证据和理由，以证明工伤认定的不当之处。复议机关或法院会对双方的意见进行审查和核实，并根据法律规定和证据情况作出裁决。这需要单位有充分的证据和合理的理由来支持其主张，否则很难推翻原有的工伤认定。

再者，从实际情况来看，用人单位成功推翻工伤认定的案例相对较少。这主要是因为工伤认定程序本身就比较严格，而且员工在受伤后也会积极寻求法律保护和救济，使得单位在推翻工伤认定方面面临较大的困难和压力。

综上所述，单位要推翻残疾人工伤认定书并不容易。如果单位对工伤认定有异议，建议通过合法的途径提出申诉，并尽可能提供充分的证据和理由来支持其主张。同时，也建议单位在员工受伤后积极与其沟通协商，妥善处理相关事宜，以避免不必要的法律纠纷和损失。