发票金额与付款金额不一致的责任归属，需根据具体情况来判断，不能一概而论。以下是从不同角度进行的分析：
一、发票金额大于付款金额
卖方责任：
- 如果卖方开具的发票金额超过了实际交易金额，且买方已经按照发票金额支付了款项，那么卖方可能构成不当得利。在这种情况下，卖方有义务退还多收的款项给买方。
- 卖方还可能面临税务部门的处罚，因为虚开发票是违法行为，可能涉及偷税漏税等税务问题。
买方责任：
- 如果买方在支付款项时未仔细核对发票金额与实际交易金额，导致多支付了款项，那么买方在一定程度上也存在疏忽。但买方的疏忽并不免除卖方退还多收款项的义务。
- 买方有权要求卖方退还多收的款项，并可以就因此产生的损失（如利息损失）向卖方主张赔偿。
二、发票金额小于付款金额
买方责任：
- 如果买方支付的款项超过了发票金额，且卖方已经按照发票金额开具了发票，那么买方可能面临无法全额抵扣税款的风险。因为税务部门通常只认可发票上的金额作为税前扣除的依据。
- 买方还有权要求卖方重新开具符合实际交易金额的发票，以确保其能够合法地抵扣税款。
卖方责任：
- 卖方在收到买方支付的超过发票金额的款项后，有义务按照实际交易金额重新开具发票给买方。如果卖方拒绝或拖延重新开具发票，可能构成违约行为，需要承担相应的违约责任。
- 卖方还可能面临税务部门的调查和处罚，因为未按照实际交易金额开具发票可能涉及偷税漏税等税务问题。
三、特殊情况下的责任归属
- 双方协商一致：如果双方在交易过程中就发票金额与付款金额不一致的问题进行了协商，并达成了书面或口头的协议，那么责任归属应按照协议内容来确定。
- 第三方原因：如果发票金额与付款金额不一致是由于第三方（如银行、支付平台等）的错误导致的，那么双方应共同与第三方协商解决，并根据协商结果来确定责任归属。
四、法律建议
- 核对发票与付款金额：在交易过程中，双方应仔细核对发票金额与实际交易金额是否一致，以避免出现不必要的纠纷。
- 保留相关证据：如果发生发票金额与付款金额不一致的情况，双方应保留好相关证据（如发票、付款凭证、交易合同等），以便在纠纷发生时能够证明自己的主张。
- 及时沟通协商：一旦发现发票金额与付款金额不一致，双方应及时沟通协商，寻求解决方案，以避免纠纷的扩大和升级。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，为你提供更详细、更专业的法律建议。