已经跟单位协商的工伤认定书，一般情况下是不可以随意撤销的，但存在特定情形时可以依法申请撤销或重新认定。以下是对此问题的详细分析：
一、工伤认定书的法律性质与效力
工伤认定书是社会保险行政部门根据《工伤保险条例》的规定，对职工因工作遭受事故伤害或者患职业病是否属于工伤或者视同工伤作出的认定决定。该决定具有法律效力，一旦作出，即对用人单位和职工产生约束力。
二、工伤认定书撤销的法定情形
虽然工伤认定书具有法律效力，但在以下特定情形下，可以依法申请撤销或重新认定：
申请主体不适格：如果工伤认定申请不是由职工本人、其直系亲属或者其所在单位提出，且不符合其他申请主体的规定，那么该工伤认定书可能因申请主体不适格而被撤销。不过，在您的情况下，由于已经与单位协商，这一情形通常不适用。
认定事实不清或证据不足：如果工伤认定书所依据的事实不清、证据不足，或者存在其他错误，那么该工伤认定书可能因事实认定问题而被撤销或重新认定。例如，如果后续发现职工受伤并非因工作原因，或者受伤情况与工伤认定书描述不符等。
程序违法：如果社会保险行政部门在作出工伤认定决定的过程中存在程序违法的情况，如未依法告知当事人权利、未依法听取当事人陈述和申辩等，那么该工伤认定书可能因程序违法而被撤销。
当事人提出异议并经审查属实：如果职工或用人单位对工伤认定书有异议，并在法定期限内提出行政复议或行政诉讼，且经审查发现工伤认定书确实存在错误的，那么该工伤认定书可能被撤销或重新认定。
三、撤销工伤认定书的程序与途径
行政复议：如果职工或用人单位对工伤认定书不服，可以在收到工伤认定书之日起60日内向作出工伤认定的社会保险行政部门的上级机关申请行政复议。行政复议机关将对工伤认定书的合法性、适当性进行审查，并作出复议决定。
行政诉讼：如果职工或用人单位对行政复议决定不服，或者未在法定期限内申请行政复议，可以在收到工伤认定书之日起6个月内直接向人民法院提起行政诉讼。人民法院将对工伤认定书的合法性进行审查，并作出判决。
四、建议与注意事项
谨慎协商：虽然您已经与单位协商了工伤认定书，但建议谨慎对待协商结果。如果协商内容涉及工伤认定书的撤销或变更，务必确保协商过程合法、合规，并保留好相关证据。
及时咨询专业律师：如果您对工伤认定书有异议，或者认为工伤认定书存在错误，建议及时咨询专业律师。律师将根据您的具体情况，为您提供专业的法律意见和帮助。
注意时效：无论是申请行政复议还是提起行政诉讼，都需要注意时效问题。逾期申请或起诉的，可能会丧失相应的法律救济权利。
如果您在工伤认定或赔偿方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。