核心结论：著作权人死亡后，其未发表作品的家属能否申请出版合同终止，需分情况讨论，主要取决于合同性质、家属身份及法律规定。

1. 若出版合同属于委托创作合同，且家属为著作权法定继承人
   根据《著作权法实施条例》第15条，著作权人死亡后，其著作权中的财产权（包括发表权、复制权、发行权等）在保护期内由继承人继承。若家属作为法定继承人，且出版合同中未明确约定“合同不因著作权人死亡而终止”，则家属有权以继承人身份主张终止合同。原因在于：委托创作合同具有人身属性，著作权人死亡后，合同目的（如创作特定作品）可能无法实现，继承人可依据《民法典》第934条（委托合同终止情形）主张解除合同。但需注意：若合同已部分履行（如已支付部分稿酬），继承人可能需承担违约责任或赔偿对方合理损失。

2. 若出版合同属于许可使用合同，且家属为著作权法定继承人
   若合同为著作权许可使用（如独家出版许可），家属作为继承人可继承被许可使用的权利，但合同是否终止需看具体条款。若合同未约定“著作权人死亡后合同自动终止”，则家属需继续履行合同；若合同明确约定“著作权人死亡即终止”，则家属可主张终止。若合同无约定，根据《民法典》第936条（因继承人原因导致合同不能履行的处理），若家属拒绝继续许可使用，可能构成违约，需赔偿对方因此遭受的损失（如预期利润）。

3. 若家属非著作权法定继承人（如仅为近亲属但无法定继承权）
   非法定继承人的家属无权直接继承著作权，因此无权单方面申请终止出版合同。但若家属能证明合同存在《民法典》第147-151条规定的可撤销情形（如欺诈、胁迫、显失公平），或第563条规定的法定解除情形（如不可抗力导致合同目的无法实现），可向法院或仲裁机构申请撤销或解除合同。此外，若家属与著作权人生前共同创作作品（如合作作者），可能享有部分著作权，此时需根据合作创作协议或《著作权法》第14条处理。

建议行动步骤：

1. 核查出版合同的具体条款（尤其是关于合同终止、继承的约定）；
   
2. 确认家属是否为著作权法定继承人（需结合遗嘱、继承法规定）；
   
3. 若合同无明确约定且家属为继承人，可先与出版方协商终止合同；若协商不成，可依据《民法典》向法院起诉主张终止；
   
4. 若家属非继承人，需评估是否存在合同撤销/解除的法定事由，再决定是否通过法律途径解决。
   

如有进一步细节（如合同类型、家属身份、合同履行情况等），可向我补充说明，我会为您分析具体风险点。