核心结论：开给对方的发票已勾选但货款未付又退回发票，可能涉及的责任需分情况讨论，主要取决于发票退回的原因及双方约定，可能涉及民事违约责任、行政责任甚至刑事责任（极端情况下）。以下是具体分析：
1. 若因合同未履行或协商一致退回发票
- 民事责任：若双方协商一致解除合同或终止交易，且发票退回是合同解除的后续安排，通常不涉及违约责任。但需注意：
- 若合同明确约定“发票开具后未付款不得退回”，则单方退回可能构成违约，需承担赔偿损失等责任。
- 若退回发票导致对方无法抵扣税款或产生其他损失（如重新开具发票的成本），可能需赔偿实际损失。
- 税务处理：根据《增值税专用发票使用规定》，已认证的发票退回需由购买方申请《开具红字增值税专用发票信息表》，销售方凭此开具红字发票冲销收入。若未按规定处理，可能面临税务机关处罚（如罚款）。
2. 若因单方违约（如拒付货款）导致发票退回
- 民事责任：拒付货款本身构成违约，需按合同约定承担违约责任（如支付违约金、赔偿损失）。发票退回可能被视为违约的附带行为，但责任仍以货款未付的违约行为为主。
- 税务风险：若销售方已申报收入，购买方退回发票后未及时冲红，可能导致销售方重复纳税或购买方非法抵扣税款，双方均可能被税务机关追责。
3. 若涉及虚假交易或恶意退回发票
- 行政责任：根据《税收征收管理法》及《发票管理办法》，虚开发票或非法买卖发票的，由税务机关没收违法所得，并处罚款（最高50万元）；情节严重的，可能吊销发票领购资格。
- 刑事责任：若以骗取税款为目的虚开发票，可能构成《刑法》第二百零五条之一的“虚开发票罪”，处二年以下有期徒刑、拘役或管制，并处罚金；情节严重的，处二年以上七年以下有期徒刑，并处罚金。
实务建议
- 检查合同条款：确认合同是否对发票退回、货款支付及违约责任有明确约定。
- 及时沟通协商：与对方书面确认发票退回的原因及后续处理（如是否冲红、是否继续履行合同）。
- 规范税务处理：按税务机关要求开具红字发票，避免税务风险。
- 保留证据：保存合同、发票、沟通记录等证据，以备争议时使用。
提示：具体责任需结合交易背景、合同条款及证据综合判断。若有进一步疑问，可直接向我咨询，我会结合您的具体情况详细分析。