不可以直接拒绝付款，但可通过法律途径维护权益并解决发票问题。以下从不同角度进行分析：
- 判决退款与发票的独立性
法院判决退款是基于合同履行、违约责任等法律事实，而增值税专用发票的开具与交付属于税务合规范畴。两者虽可能存在关联（如退款涉及已开具发票的作废或红冲），但法律上属于不同义务：
- 退款义务：对方需按判决履行退款，否则可申请强制执行；
- 发票义务：若合同或税法规定对方需退回发票（如退款后需作废原发票），对方拒不履行可能构成税务违规，但此义务不直接抵消你的付款责任。
- 拒绝付款的法律风险
若以“未退回发票”为由拒绝付款，可能面临以下风险：
- 违约风险：若判决未明确将发票退回作为付款前提，你的拒付行为可能被认定为违反判决，对方可申请强制执行并要求你承担迟延履行利息；
- 税务风险：若已抵扣进项税，拒付可能导致你无法合法冲减税款，需补缴税款及滞纳金。
- 正确维权路径
建议分步骤处理：
- 第一步：申请强制执行退款
向法院提交《强制执行申请书》，要求对方履行退款义务。若对方有财产可供执行，法院可直接划扣款项；若对方无财产，可申请将其纳入失信被执行人名单，限制高消费等。
- 第二步：同步解决发票问题
- 若合同约定“退款需退回发票”，可向法院申请追加“退回发票”为执行内容，或另行起诉要求对方履行合同附随义务；
- 若合同未约定，可依据《增值税专用发票使用规定》向税务机关举报对方违规行为（如未按规定开具或退回发票），税务机关可责令改正并处罚。
- 第三步：税款处理
若已抵扣进项税，需与对方协商红冲发票；若对方拒不配合，可向税务机关申请《丢失增值税专用发票已报税证明单》，凭此证明继续抵扣税款，避免损失。
总结：退款与发票问题需分开处理，优先通过强制执行实现退款，再通过法律或税务途径解决发票纠纷。如有进一步疑问，可直接向我咨询具体操作细节。