针对你提出的“只有行政处罚书没有责任认定怎么办”的问题，我可以给出以下建议：
首先，需要明确的是，行政处罚书和责任认定在性质上是不同的。行政处罚书是行政机关对违法行为人作出的处罚决定，而责任认定则是对事故或事件中各方责任的划分和确定。
了解行政处罚书的内容：
- 仔细阅读行政处罚书，了解处罚的具体内容、依据以及处罚机关等信息。
- 如果对行政处罚书有异议，可以按照法律规定的程序提出行政复议或行政诉讼。
关于责任认定的缺失：
- 如果事故或事件需要责任认定，但行政机关未出具责任认定书，你可以向相关行政机关提出申请，要求其进行责任认定。
- 如果行政机关拒绝或拖延出具责任认定书，你可以考虑通过法律途径维护自己的权益，比如提起行政诉讼。
寻求法律帮助：
- 如果你在处理这个问题时遇到困难，或者对法律程序不熟悉，可以寻求专业律师的帮助。
- 律师可以根据你的具体情况，为你提供法律咨询、代理复议或诉讼等服务。
考虑其他证据：
- 在没有责任认定书的情况下，你可以尝试收集其他证据来证明自己的主张。
- 这些证据可以包括现场照片、视频、证人证言等，它们可能对你的案件有所帮助。
综上所述，虽然只有行政处罚书而没有责任认定可能会给你的案件带来一些困难，但并非无法解决。你可以通过了解行政处罚书的内容、申请责任认定、寻求法律帮助以及收集其他证据等方式来维护自己的权益。如果你在这个过程中有任何疑问或需要进一步的法律帮助，请随时向我咨询。