面对死者家属的持续骚扰，您首先需要明确的是，这种骚扰行为是不合法的，您有权采取措施保护自己的合法权益。以下是从多个角度为您提供的分析和建议：
法律角度分析骚扰行为：
- 骚扰行为的性质：死者家属的持续骚扰，如频繁打电话、发短信、上门吵闹等，可能构成对您的名誉权、隐私权或生活安宁权的侵犯。根据《中华人民共和国民法典》的相关规定，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权，不得非法搜查、侵入、干扰他人的私人生活安宁和不愿为他人知晓的私密空间、活动、信息。
- 法律责任：如果死者家属的骚扰行为达到一定程度，如造成您精神损害或影响您的正常生活，您有权要求其停止侵害、赔礼道歉，并可以依法向人民法院提起诉讼，要求赔偿损失。
应对骚扰的具体措施：
- 保留证据：首先，您需要保留所有与骚扰行为相关的证据，如通话记录、短信内容、视频监控等。这些证据将在后续的法律程序中起到关键作用。
- 沟通协商：在保留证据的同时，您可以尝试与死者家属进行沟通协商，表达您的困扰和诉求，寻求和平解决的方式。如果沟通无果，您可以考虑通过第三方（如社区调解委员会、公安机关等）进行调解。
- 报警处理：如果死者家属的骚扰行为严重影响到您的生活安宁，甚至构成威胁或恐吓，您应立即向当地公安机关报案。公安机关将依法进行调查处理，并可能对骚扰者采取行政处罚措施。
- 提起诉讼：在骚扰行为持续存在且无法通过其他方式解决的情况下，您可以向人民法院提起诉讼，要求死者家属停止侵害、赔礼道歉并赔偿损失。在诉讼过程中，您需要提供充分的证据来支持您的诉求。
关于事故责任认定的后续处理：
- 责任认定书的效力：既然您已经被认定为次要责任，那么这份责任认定书将作为后续赔偿和处理的依据。您需要妥善保管这份认定书，并在需要时向相关部门或法院出示。
- 赔偿协商与诉讼：根据责任认定书的结果，您可能需要与死者家属就赔偿问题进行协商。如果协商无果，死者家属可能会向法院提起诉讼要求赔偿。在这种情况下，您需要积极应诉，并根据法律规定和实际情况提出合理的抗辩和赔偿方案。
心理调适与支持：
- 面对压力：交通事故造成人员死亡无疑会给您带来巨大的心理压力和负担。在处理法律问题的同时，您也需要关注自己的心理健康，及时寻求心理支持和调适。
- 寻求帮助：您可以与家人、朋友或专业心理咨询师分享您的感受和困扰，他们将能够提供情感上的支持和建议。
总结与建议：面对死者家属的持续骚扰，您应首先明确这种行为的非法性，并采取保留证据、沟通协商、报警处理或提起诉讼等措施来保护自己的合法权益。同时，您也需要关注事故责任认定的后续处理和心理调适问题。如果您在处理过程中遇到任何困难或疑问，可以直接向我咨询，我将根据您的具体情况提供专业的法律建议和支持。