如果交警已经下了责任认定书，而次要责任方没有回应或表示异议，你可以按照以下步骤来处理：
一、理解责任认定书的法律效力
首先，需要明确的是，交警出具的责任认定书是具有法律效力的文书。它根据事故现场的勘查、证据收集以及相关法律法规，对事故责任进行了划分。一旦责任认定书下达，除非有充分的证据证明其存在错误或不当，否则一般难以更改。
二、次要责任方无回应的处理方式
主动沟通：
- 尽管次要责任方没有回应，但你可以尝试主动与其沟通，了解其不回应的原因。可能是对方对责任认定有异议但不知如何表达，或者有其他个人原因导致无法及时回应。
- 通过沟通，你可以更好地了解对方的立场和想法，为后续的处理打下基础。
考虑行政复议或诉讼：
- 如果你认为责任认定书存在错误或不当，且次要责任方的不回应可能影响到你的权益，你可以考虑向交警部门申请行政复议，或者向人民法院提起行政诉讼。
- 行政复议：根据《中华人民共和国行政复议法》的相关规定，你可以在收到责任认定书之日起六十日内向作出责任认定的交警部门的上一级主管部门申请行政复议。申请时需要提交复议申请书，并附上相关证据材料。
- 行政诉讼：如果你对行政复议结果不满意，或者选择直接提起行政诉讼，你可以在知道或应当知道责任认定书内容之日起六个月内向人民法院提起诉讼。诉讼时需要提交起诉状，并附上相关证据材料。
协商解决：
- 如果双方对责任认定没有太大争议，只是次要责任方暂时没有回应，你可以尝试与对方协商解决。例如，就赔偿事宜进行协商，达成一致后签订书面协议。
- 协商解决的好处是可以节省时间和精力，避免长时间的法律纠纷。但需要注意的是，协商解决的结果应当合法、合理，并确保双方的权益得到保障。
三、注意事项
保留证据：
- 在处理事故过程中，一定要保留好相关证据，如事故现场照片、视频、证人证言等。这些证据在后续的行政复议或诉讼中可能起到关键作用。
遵守法律程序：
- 无论是申请行政复议还是提起行政诉讼，都需要遵守相应的法律程序。例如，在规定的时间内提交申请书或起诉状，按照要求提供证据材料等。
寻求专业帮助：
- 如果你对法律程序不熟悉或者觉得处理起来比较困难，可以寻求专业律师的帮助。律师可以为你提供法律咨询、代理诉讼等服务，帮助你更好地维护自己的权益。
最后，如果次要责任方一直不回应，你也不必过于担心。只要责任认定书是合法、合理的，你就可以依据它来维护自己的权益。如果有任何疑问或需要进一步的帮助，请随时向我咨询。