针对您提出的问题“认定工伤决定书下来了，单位也私了了，但是单位叫撤销工伤认定书，可以不”，以下是我的详细解答：

首先，工伤认定书是由社会保险行政部门依法作出的，具有法律效力。一旦工伤被认定，就意味着该员工在事故中受到的伤害被法律所确认，并享有相应的工伤保险待遇。因此，工伤认定书并不是可以随意撤销的。

其次，即使单位与员工私下达成了和解协议，也不能改变工伤认定的事实。和解协议只是双方就赔偿等问题达成的一致意见，它并不能替代或撤销工伤认定书。正如参考案例中所展示的，即便双方已经签署了赔偿协议，法院仍然驳回了公司请求撤销工伤认定的诉讼。

再者，进行工伤认定申请是《工伤保险条例》赋予员工的法定权利。这项权利不能被任何形式的私人条约所剥夺。因此，单位无权要求员工撤销工伤认定书，员工也有权拒绝这样的要求。

最后，单位应当履行其法定义务，为员工申请工伤认定并配合相关部门的工作。如果单位试图通过不正当手段来逃避其应承担的工伤保险责任，那么它将面临法律上的制裁。

综上所述，您可以拒绝单位要求撤销工伤认定书的要求。如果单位坚持这一要求，您可以向其解释相关的法律规定，并明确表示您不会撤销工伤认定书。如果单位仍然不理解或不接受，您可以考虑咨询专业的法律人士或向相关部门投诉以维护自己的合法权益。