交通责任认定书复议不去管他，从法律程序上来说，是可以的，但这可能会带来一系列不利的法律后果。以下是对此问题的详细分析：
一、法律程序上的可行性
交通责任认定书是公安机关交通管理部门根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论，所制作的一种法律文书，它用于确定交通事故中各方的责任。如果当事人对这份认定书有异议，有权在规定的时间内（通常是收到认定书后的三日内）向上一级公安机关交通管理部门提出书面复核申请。然而，如果当事人选择不去申请复议，即视为对认定书的认可，该认定书将产生法律效力。
二、不去申请复议的可能后果
责任认定生效：一旦当事人未在规定时间内申请复议，交通责任认定书将正式生效，成为处理交通事故、确定赔偿责任的依据。这意味着，如果认定书中认定你承担了全部或部分责任，你将需要按照这一认定来承担相应的法律责任。
影响赔偿协商：在交通事故赔偿协商过程中，交通责任认定书是重要的参考依据。如果不去申请复议，即视为接受认定书中的责任划分，这可能会影响你在赔偿协商中的立场和谈判能力。
诉讼风险增加：如果当事人对赔偿协商结果不满意，选择通过诉讼途径解决纠纷，那么交通责任认定书将成为法院审理案件的重要证据。如果不去申请复议，即视为对认定书的认可，这可能会增加你在诉讼中的败诉风险。
三、建议
及时复议：如果你对交通责任认定书有异议，建议及时在规定时间内向上一级公安机关交通管理部门提出书面复核申请。通过复议程序，你可以有机会纠正认定书中可能存在的错误或不合理之处。
咨询专业律师：在申请复议前或复议过程中，你可以咨询专业律师的意见。律师可以根据你的具体情况和事故现场情况，为你提供专业的法律建议和指导，帮助你更好地维护自己的合法权益。
保留证据：无论你是否选择申请复议，都建议你保留好与交通事故相关的所有证据，如现场照片、视频、证人证言等。这些证据在后续的赔偿协商或诉讼过程中可能会起到关键作用。
综上所述，虽然不去申请交通责任认定书的复议在法律程序上是可行的，但可能会带来一系列不利的法律后果。因此，我建议你如果对认定书有异议，应及时申请复议并咨询专业律师的意见。如果你有任何关于婚姻家庭或交通事故方面的法律问题，都可以直接向我咨询。