在交通事故处理中，若没有责任认定书，当事人确实可以拒绝调解。以下是对此问题的详细分析：

一、法律依据与程序要求

根据相关法律法规，交通事故的调解程序有着明确的规定。首先，公安机关交通管理部门应在查明事故原因、认定责任及确定损失后，方可召集当事人进行调解。这意味着，在责任认定书出具之前，交警部门不应主动启动调解程序。若交警在未出具责任认定书的情况下主动要求调解，这属于程序违法。

二、当事人的权利与选择

1. 拒绝调解的权利：在责任认定书未出具前，如果交警主动要求调解，当事人有权拒绝。这是因为调解程序的前提是责任已经明确，而责任认定书是明确责任的关键文件。

2. 后续行动建议：

   • 等待责任认定书：当事人应耐心等待交警部门出具责任认定书。这是后续调解或诉讼的基础。
   • 凭认定书起诉：如果一方无意调解，另一方可以凭事故责任认定书直接向事故发生地人民法院提起诉讼。这是法律赋予当事人的权利，也是解决纠纷的有效途径。

三、责任认定书的重要性

责任认定书在交通事故处理中具有举足轻重的地位。它不仅是调解的前提，也是诉讼中确定各方责任、计算赔偿金额的重要依据。因此，在责任认定书未出具前，任何调解尝试都可能是无效的，甚至可能引发新的纠纷。

四、特殊情况下的处理

虽然一般情况下没有责任认定书不能调解，但也存在一些特殊情况。例如，如果双方当事人对事故责任没有争议，且愿意自行协商解决赔偿问题，那么在没有责任认定书的情况下也可以进行私下协商。但这种私下协商并不具备法律效力，一旦发生纠纷，可能难以维护自身权益。因此，即使双方愿意私下协商，也建议等待责任认定书出具后再进行正式调解或诉讼。

总结与建议：

在交通事故处理中，若没有责任认定书，当事人可以拒绝调解。这是基于法律法规的程序要求，也是保护当事人自身权益的必要措施。建议当事人在等待责任认定书出具的过程中，保持冷静和理性，不要急于进行私下协商或接受不合理的调解方案。一旦责任认定书出具，再根据实际情况选择调解或诉讼等解决方式。如有任何法律问题或需要进一步的法律建议，请直接向我咨询。