结论：电话退保若非本人操作但为夫妻一方所为，保险公司是否追究责任需分情况讨论，关键在于是否获得合法授权及保险公司审核流程的合规性。以下从不同角度展开分析：

1. 若退保操作获得合法授权，保险公司通常不会追究责任

• 法律依据：根据《民法典》第161条，民事主体可通过代理人实施民事法律行为。若夫妻一方获得另一方明确授权（如书面委托、录音授权等），代为办理退保属于合法代理行为，保险公司无权拒绝或追究责任。
• 实务操作：保险公司通常要求代理人提供投保人身份证明、授权委托书及代理人身份证明等材料。若材料齐全且符合流程，退保生效后，保险公司不会因非本人操作而主张合同无效或追究责任。

2. 若退保操作未获合法授权，保险公司可能拒绝退保或追究责任

• 无权代理的后果：若夫妻一方未经另一方同意擅自退保，属于无权代理。根据《民法典》第171条，保险公司有权拒绝退保请求，或要求实际投保人确认退保意愿。若投保人否认退保，保险公司可能撤销退保操作并恢复合同效力。
• 保险公司审核义务：保险公司需对退保申请进行形式审查（如核对签名、身份信息等）。若因审核疏忽导致无权退保成功，保险公司可能需承担一定责任，但实践中保险公司通常通过严格审核流程规避此类风险。

3. 特殊情形：夫妻共同财产与保险利益的影响

• 保险合同性质：若保险合同涉及夫妻共同财产（如以共同财产支付保费），一方退保可能影响另一方财产权益。此时，非投保方虽无直接合同权利，但可通过婚姻法主张财产分割纠纷，而非直接追究保险公司责任。
• 保险利益原则：若退保导致被保险人失去保障（如以配偶为被保险人的寿险合同），被保险人可基于保险利益原则主张合同无效或要求赔偿，但此情形与保险公司是否追究责任无直接关联。

建议与风险提示

1. 明确授权流程：若需代办退保，建议提前准备书面授权委托书，并留存沟通记录（如录音、短信），避免后续纠纷。
2. 审核保险公司要求：退保前向保险公司确认所需材料及流程，确保操作合规。
3. 关注合同条款：部分保险合同可能约定“仅限本人办理退保”等条款，需提前核查避免违约。

若有进一步疑问或需具体操作指导，可直接向我咨询，我将结合您的合同条款及实际情况提供针对性建议。