作者死亡且作品未修改完成的情况下，家属能否申请出版合同终止需分情况讨论：

1. 若出版合同中明确约定了作者死亡或作品未完成时的处理方式
   根据《民法典》第465条，合同具有相对性，双方权利义务以合同约定为准。若合同中明确约定“作者死亡或作品未完成时，合同自动终止”或“家属有权单方解除合同”，则家属可直接依据合同条款主张终止，无需额外协商或诉讼。此时，出版社应配合办理合同解除手续，并退还已支付但未实际使用的费用（如预付稿酬）。

2. 若合同未约定作者死亡或作品未完成时的处理方式
   需结合《民法典》第533条“情势变更”原则及第563条“法定解除权”综合判断：

   • 情势变更：若作者死亡导致作品无法按原约定完成（如需重大修改但作者已无法参与），且继续履行合同对家属显失公平（如出版社要求家属代为完成修改，但家属无能力或不愿承担），家属可主张变更或解除合同。此时需证明“继续履行合同”与“作者死亡”之间存在直接因果关系，且合同目的已无法实现。
     
   • 法定解除权：若作者死亡导致作品修改完全不可能（如作品依赖作者独特创作风格或未公开的创作思路），且出版社拒绝协商变更合同，家属可依据《民法典》第563条第1款第4项“其他违约行为致使不能实现合同目的”主张解除合同。但需注意，此情形下家属需承担举证责任，证明合同目的已因作者死亡而彻底落空。

3. 家属申请终止合同的程序要求

   • 协商优先：家属应首先与出版社协商，明确作品修改的可行性及合同继续履行的条件。若出版社同意终止，可签订书面解除协议，避免后续纠纷。
     
   • 诉讼或仲裁：若协商无果，家属可向法院起诉或依据合同仲裁条款申请仲裁，主张终止合同。诉讼中需提交作者死亡证明、合同文本、作品修改进度等证据，证明合同已无法履行或继续履行显失公平。
     
   • 通知义务：若家属依据法定解除权主张终止，需根据《民法典》第565条，向出版社发送书面解除通知，通知到达时合同即解除。出版社有异议的，可请求法院或仲裁机构确认解除效力。

建议：家属在处理此类问题时，应优先审查合同条款，明确双方权利义务；同时收集作者死亡与作品修改之间的关联证据（如创作笔记、专家意见等），以支持终止合同的主张。若涉及复杂法律问题，可直接向我咨询，我将结合具体案情提供专业分析。