交通事故违法行为被处罚后，一般不可以直接对责任认定提起行政诉讼来推翻，但可以通过法定复核程序或其他诉讼途径来影响责任认定。以下是对此问题的详细分析：
一、交通事故责任认定的性质
交通事故责任认定书是公安机关交通管理部门根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论，及时制作的作为处理交通事故证据的文书。它主要用来证明交通事故的基本事实、成因和当事人的责任，并不直接设定或改变当事人的权利义务关系，因此不具备具体行政行为的性质，不可直接对其提起行政诉讼。
二、不能直接提起行政诉讼的理由
- 非具体行政行为：根据相关法律规定及司法实践，交通事故责任认定行为不属于具体行政行为范畴，而是一种证据行为。因此，它不具备可诉性，不能直接对其提起行政诉讼。
- 法律救济途径的限制：虽然当事人对交通事故责任认定有异议，但法律并未规定可以直接对其提起行政诉讼。相反，法律提供了其他救济途径，如复核申请等。
三、异议处理途径
复核申请：
- 申请时限：当事人对交通事故责任认定有异议的，可以自道路交通事故认定书送达之日起三日内提出书面复核申请。
- 申请内容：复核申请应当载明复核请求及其理由和主要证据。
- 复核次数限制：同一事故的复核以一次为限。这是法律赋予当事人的合法权利，以确保交通事故责任认定的准确性和公正性。
后续诉讼中的影响：
- 虽然不能直接对交通事故责任认定提起行政诉讼，但当事人在后续涉及民事赔偿等诉讼中，可以通过提供相关证据等方式，由法院对事故责任重新审查判断。例如，如果有新的监控视频能证明事故发生时对方存在违规行为等，法院会综合全案证据来确定责任比例，而非单纯依据责任认定书。
四、实际建议
- 及时申请复核：如果对交通事故责任认定有异议，务必在规定时限内提出书面复核申请，并附上相关证据和理由。
- 保留相关证据：在整个过程中，务必保存好所有相关证据，如事故现场照片、交警处理记录、医疗记录等，以备不时之需。这些证据在后续的复核或诉讼中可能起到关键作用。
- 寻求专业帮助：如果对交通事故责任认定或后续处理有疑问或困惑，可以咨询专业律师以获取更详细的法律建议和指导。
案例说明：假设某起交通事故中，交警认定一方负全责并出具了责任认定书。但该方认为认定有误，因为现场有监控视频显示对方也存在违规行为。此时，该方可以在规定时限内提出书面复核申请，并附上监控视频作为证据。如果复核结果仍不满意，该方可以在后续的民事赔偿诉讼中提供该证据，由法院重新审查判断事故责任比例。
综上所述，虽然不能直接对交通事故责任认定提起行政诉讼来推翻，但当事人可以通过法定复核程序或其他诉讼途径来影响责任认定。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。