核心结论：票据到期不付款不能直接“退给前任”，需根据票据类型、前任与票据的关系（是否为前手背书人等）以及具体法律情形，通过行使票据追索权或基础合同权利来主张权益。以下分情况说明：

1. 若“前任”是票据的前手背书人

• 票据追索权行使：根据《票据法》第六十一条，票据到期被拒绝付款的，持票人可以对背书人、出票人以及票据的其他债务人行使追索权。此时，您需在法定期限内（如被拒绝付款之日起6个月内）向前手背书人发出书面追索通知，并附上拒绝证明（如银行出具的退票理由书），要求其支付票据金额及利息、费用。若前手背书人拒付，您可向法院起诉，以票据纠纷为由主张权利。
• 注意时效与证据：追索权行使需严格遵守时效（如对前手的追索权自被拒绝付款之日起6个月），且需保留好拒绝证明、票据原件、背书连续性证明等关键证据，否则可能丧失追索权。

2. 若“前任”是基础合同关系的相对方（如买卖合同卖方）

• 基础合同权利主张：若票据是基于基础合同（如买卖合同）开具的，且票据不付款与基础合同履行有关（如卖方未交付货物导致买方拒付票据），您可依据基础合同关系向“前任”（卖方）主张违约责任。例如，要求其继续履行合同、赔偿损失或返还已支付的票据金额（若票据金额已包含在合同价款中）。
• 合同与票据的区分：需注意票据关系与基础合同关系的独立性。即使基础合同存在纠纷，票据的合法持有人仍可单独行使票据权利；但若基础合同纠纷导致票据无法兑付，您可同时主张票据权利和基础合同权利，形成双重保障。

3. 若“前任”与票据无直接法律关系

• 无法直接追索：若“前任”既非票据的前手背书人，也非基础合同相对方，则您无法直接以票据或合同为由要求其付款。此时，需重新审视票据的流转过程，确认是否存在其他责任主体（如出票人、承兑人等），或是否存在票据诈骗等违法行为，并依法采取相应措施。

4. 特殊情形：票据遗失或被盗后的追索

• 挂失止付与公示催告：若票据因遗失、被盗等原因无法兑付，您需立即向付款人（如银行）挂失止付，并在法定期限内（如挂失止付后3日内）向法院申请公示催告，宣告票据无效。公示催告期间无人申报权利的，您可申请法院作出除权判决，凭判决向付款人请求支付票据金额。此时，“前任”若非合法持票人，则无权主张权利。

行动建议：

1. 立即收集并整理票据原件、拒绝证明、背书连续性证明、基础合同等关键证据；
   
2. 根据“前任”与票据的关系，选择行使票据追索权或基础合同权利；
   
3. 若协商无果，及时向法院起诉或申请公示催告，避免超过时效；
   
4. 如有疑问或需进一步协助，可直接向我咨询，我将根据具体案情为您提供详细法律方案。