合同终止后退回发票是否需要对方单位同意，需分情况讨论：

1. 合同明确约定发票退回条款
   若合同中已明确约定“合同终止后，接收方需将已开具的发票退回开具方”，则该条款具有法律约束力。此时，接收方（对方单位）有义务配合退回发票，无需额外征得其同意，但需以书面形式通知对方并留存证据（如邮件、函件等）。若对方拒绝，可依据合同条款主张权利。

2. 合同未约定发票退回条款
   若合同无相关约定，则需结合以下因素判断：

   • 发票性质：若发票已用于抵扣税款或财务入账，退回可能涉及税务调整（如红字发票开具）。根据《增值税发票开具及使用规定》，此时需双方协商一致，由接收方向税务机关申请开具红字发票信息表，开具方据此冲红原发票。
     
   • 合同终止原因：若因对方违约导致合同终止，可主张对方配合退回发票作为违约责任的一部分；若因己方原因终止，则需与对方协商，对方有权拒绝但需说明合理理由。
     
   • 实际履行情况：若发票对应的货物/服务已实际交付或部分履行，退回发票可能影响双方财务记录，需通过补充协议明确处理方式。

3. 税务合规性要求
   根据《税收征收管理法》及发票管理规定，发票的开具、使用、退回需符合税务机关要求。若退回发票涉及税款调整，必须通过税务系统完成红字发票流程，此时需对方单位配合（如提供开票信息、盖章确认等），否则可能面临税务风险。

实务建议：

• 合同终止时，无论是否有约定，均应第一时间与对方沟通发票退回事宜，并留存书面沟通记录；
  
• 若对方拒绝配合，可依据合同条款或《民法典》中关于合同终止后附随义务的规定（如协助义务）主张权利；
  
• 涉及税务调整的，建议同步咨询税务机关或专业税务律师，确保流程合规。
  

如有进一步疑问，可直接向我咨询具体场景下的处理方案。