结论：肇事方拒签责任认定书且以口头“私了”为由拒绝处理，这并不影响责任认定书的法律效力。你可以通过以下方式来应对这种情况。
分析说明：
责任认定书的法律效力：
- 责任认定书是由交警部门根据事故现场勘查、证据收集等程序依法作出的，具有法律效力。肇事方拒签并不影响其效力，也不代表肇事方可以逃避责任。
口头“私了”的无效性：
- 口头协议在法律上往往难以证明其存在和内容，特别是在涉及较大金额或复杂权益的情况下。即使双方当时有口头“私了”的约定，如果没有书面证据支持，这种约定在法律上可能难以得到认可。
- 此外，如果口头“私了”的内容与责任认定书的结果存在冲突，或者“私了”过程中存在欺诈、胁迫等情形，那么这种口头约定更是无效的。
应对策略：
- 保留证据：首先，要保留好与事故相关的所有证据，包括现场照片、视频、证人证言等。这些证据将有助于证明事故的真实情况和责任划分。
- 申请复核：如果对责任认定书的结果有异议，可以在规定时间内向上一级交警部门申请复核。复核过程中，可以提交新的证据或理由来支持自己的观点。
- 提起诉讼：如果肇事方仍然拒绝承担责任，你可以考虑向法院提起诉讼。在诉讼过程中，责任认定书将作为重要证据之一，同时你也可以提交其他证据来支持自己的诉求。
行动建议：
- 及时与交警部门沟通：向交警部门说明肇事方拒签责任认定书的情况，并询问下一步的处理建议。交警部门可能会提供进一步的指导或协助。
- 咨询专业律师：在处理此类复杂法律问题时，咨询专业律师是非常重要的。律师可以根据你的具体情况提供针对性的法律建议和帮助，确保你的权益得到充分保障。
后续注意事项：
- 在处理事故过程中，要保持冷静和理性，避免与肇事方发生不必要的冲突或争执。
- 密切关注事故处理的进展和结果，及时与相关部门或律师沟通，确保自己的权益得到及时维护。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。