交通事故认定责任后双方私了，处罚通常是不可以撤销的。以下从不同角度为你详细分析：
一、责任认定书的法律效力
责任认定书是由公安机关交通管理部门，依据交通事故的现场勘查、检验、调查情况以及相关的检验、鉴定结论等，对交通事故的基本事实、成因和当事人的责任作出的具体认定。它具有法定的法律效力，一旦作出，若无法定情形，是不能通过私了来撤销的。
二、私了协议与责任认定书的关系
私了协议的有效性：
- 责任认定书出来后，双方私下达成的和解协议（即私了协议）一般是有效的。只要该协议是双方真实意思表示，内容不违反法律法规的强制性规定，不存在欺诈、胁迫等可撤销情形，那么该协议就具有法律效力。
- 例如，双方就事故造成的人身伤害赔偿、财产损失赔偿等事宜协商一致并签订协议，对双方均有约束力。
私了协议不能撤销责任认定书：
- 私了协议只能解决民事赔偿部分，如赔偿金额、赔偿方式等。但事故的行政责任划分不会因私了而改变。
- 也就是说，即使双方签订了私了协议，也不能通过该协议来撤销或变更责任认定书。双方仍需按责任认定书承担相应的行政责任。
三、撤销或变更责任认定书的法定途径
复核申请：
- 当事人倘若对交通事故的认定存在异议，那么可以在收到认定书后的三天内，向上一级公安机关交通管理部门提交书面的复核申请。
- 复核主要针对责任认定的程序及事实依据等进行审查，并非基于私了申请撤销。
诉讼中的变更或撤销：
- 在诉讼进程中，经法庭仔细审查并认定责任认定书确实存在错误的，便可依法对其进行变更或撤销。
- 但这同样不是基于私了协议，而是基于法庭对责任认定书合法性的审查。
四、特殊情况下的处理
未构成犯罪的交通事故：
- 如果交通事故未构成犯罪，仅涉及民事赔偿，像一般的车辆刮擦等，双方达成私了协议后可向交管部门申请撤案（但这里的撤案是指交管部门不再对民事赔偿部分进行处理，而非撤销责任认定书）。
- 然而，这并不意味着责任认定书被撤销，只是交管部门不再介入民事赔偿的调解或处理。
构成交通肇事犯罪的交通事故：
- 如果事故构成交通肇事犯罪，即便双方私了也不能撤案。刑事诉讼由国家机关主导，目的是维护社会公共秩序，司法机关会依法追究犯罪嫌疑人的刑事责任。
- 在这种情况下，私了协议对刑事责任的追究没有影响。
建议：在发生交通事故后，如果双方希望私了解决民事赔偿部分，应当签订详细的私了协议，并明确协议内容不涉及责任认定书的撤销或变更。如果对责任认定有异议，应当及时通过法定途径申请复核或提起诉讼。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。