可以起诉主张税费损失，但能否得到法院支持需结合具体证据和合同约定综合判断。以下从不同角度展开分析：

一、法律关系基础：买卖合同与发票的关联性

1. 合同义务与发票性质
   根据《民法典》第五百九十九条，出卖人应按约定交付标的物并转移所有权，同时开具发票是法定义务（《发票管理办法》第十九条）。但发票本身是付款凭证和税务抵扣依据，不直接等同于合同对价。若买方已付款，卖方开具发票后，买方退货时发票是否退回需看合同约定或交易习惯。

2. 税费损失的构成要件
   若买方未退回发票导致卖方无法红冲（作废）原发票，可能面临：

   • 增值税：需按未退回发票金额缴纳增值税（如一般纳税人销项税额无法抵扣）；
     
   • 企业所得税：若退货导致收入减少，但发票未退回可能影响成本扣除；
     
   • 税务处罚风险：如被税务机关认定为“虚开发票”或“未按规定开具发票”。

二、起诉主张税费损失的可行性

1. 合同有明确约定时
   若买卖合同中约定“退货时买方需退回发票，否则承担税费损失”，则卖方可直接依据合同起诉，要求买方赔偿因未退回发票导致的实际税费损失（如已缴纳的增值税、附加税等）。
   关键证据：合同条款、发票复印件、税务申报记录、红冲失败证明（如税务机关出具的无法作废通知）。

2. 合同无约定时
   若合同未明确约定，卖方需证明：

   • 因果关系：未退回发票与税费损失之间存在直接关联（如因无法红冲导致多缴税款）；
     
   • 损失金额：提供税务机关出具的纳税证明、财务账目等，证明实际损失数额；
     
   • 买方过错：买方拒不退回发票存在故意或重大过失（如明知不退发票会导致卖方损失仍拒绝配合）。
     风险提示：若卖方无法充分举证，法院可能驳回诉求或仅支持部分损失。

三、实务建议

1. 优先协商解决
   在起诉前，可向买方发送律师函，明确要求退回发票或赔偿税费损失，并留存沟通记录（如邮件、微信聊天记录）。

2. 完善合同条款
   未来交易中，建议在合同中增加条款：“若买方退货，需在退货后X日内退回发票；否则，按未退回发票金额的X%赔偿卖方税费损失。”

3. 及时处理发票
   退货后，卖方应尽快联系买方退回发票；若买方拒不配合，可向税务机关申请“异常发票处理”或通过公告作废等方式降低损失。

总结：您有权起诉主张税费损失，但需结合合同约定和实际损失证据。若需进一步分析具体案情或起草法律文书，可随时向我咨询。