针对你提出的“我是主责，对方第二天不去签认定书怎么办”的问题，首先明确一点：责任认定书是具有法律效力的，即使对方拒绝签字，也不会影响其法律效力。接下来，我将从几个方面详细解答你的疑问：

1. 对方拒签后的处理步骤：

   • 申请复核：如果你对责任认定有异议，或者对方拒签导致你担心后续处理，你可以在收到认定书后的三天内，向上一级交警部门申请复核。申请时，需要明确载明复核请求，详细阐述理由，并附上相关证据材料。
   • 保留证据：务必妥善保留好事故现场的照片、证人证言等所有相关证据。这些证据在后续可能面临的诉讼或协商中，将起到至关重要的作用。

2. 与对方协商：

   • 在责任认定书出具后，你可以尝试与对方协商赔偿事宜。如果对方同意协商，双方可以达成赔偿协议，从而避免进一步的法律纠纷。

3. 法律途径：

   • 如果协商无果，你可以向法院提起诉讼，通过法律途径来解决赔偿问题。在诉讼过程中，法院会对责任认定书进行严格审查，如果确实存在错误，法院会予以纠正。

4. 维护自身权益：

   • 绝不能因为对方拒签就忽视自身的合法权益。你应该积极主动地采取各种措施，全力维护自己的正当权益。这包括保留证据、申请复核、与对方协商以及必要时提起诉讼。

综上所述，即使对方拒签责任认定书，你仍然可以按照上述步骤来处理后续事宜。如果你在这个过程中有任何疑问或需要进一步的法律帮助，请随时向我咨询。我会根据你的具体情况，为你提供更详细的法律建议和指导。