结论前置：若您已离职但原单位拒不更换财务负责人，您可以通过内部沟通、向相关部门投诉以及采取法律途径等多种方式来维护自己的合法权益，并确保在整个过程中保留充分证据。

一、内部沟通与协商

1. 直接沟通：

   • 首先，您可以尝试与原单位的管理层（如总经理、法定代表人）进行面对面或电话沟通，明确说明您已离职并不再适合担任财务负责人。强调不变更可能带来的风险，包括影响新财务人员履职和可能导致您承担不必要的法律责任。

2. 书面函件：

   • 若口头沟通无果，建议您发送正式的书面函件（可通过挂号信或电子邮件），详细阐述离职时间、原因及要求变更的紧迫性。保留发送记录和回执作为证据，以备后续需要。

二、向相关部门投诉与反映

1. 税务部门：

   • 向当地税务机关提交离职证明等材料，反映原单位未变更财务负责人的情况。税务机关有权要求企业办理信息变更，以确保税务管理的准确性。您可以携带相关证明材料（如声明、身份证、离职证明等）直接去当地税务大厅办理变更手续，或者通过个税APP申诉、拨打税务咨询热线进行涉税举报。

2. 市场监督管理部门：

   • 向市场监督管理局投诉，提供相关证据，要求其责令原单位依法变更财务负责人信息，以维护市场主体登记信息的真实性。

3. 劳动监察部门：

   • 若公司违反劳动法律法规，您还可以向当地劳动监察部门投诉，由其进行调查和处理。

三、法律途径解决

1. 劳动仲裁或诉讼：

   • 若因原单位不变更财务负责人导致您的劳动权益受损（如影响您在新单位的任职等），您可以申请劳动仲裁，要求原单位履行变更义务并赔偿损失。对仲裁结果不满时，可向法院提起诉讼。

2. 侵权之诉：

   • 原单位的行为可能构成对您姓名权等权利的侵害。在此情况下，您可以向法院提起侵权诉讼，要求停止侵权行为并赔偿损失。在此过程中，您需要收集并整理相关证据以支持您的诉求，如沟通记录、投诉材料、离职证明等。

四、依据《中华人民共和国会计法》保障交接与明确责任

根据《中华人民共和国会计法》（2024）第三十九条的规定，会计人员调动工作或者离职，必须与接管人员办清交接手续。一般会计人员办理交接手续，由会计机构负责人（会计主管人员）监交；会计机构负责人（会计主管人员）办理交接手续，由单位负责人监交，必要时主管单位可以派人会同监交。因此，您有责任确保财务工作的顺利交接，并编制详细的财务工作交接清单，与接管人员共同核对并签署交接确认书，以明确责任界限。同时，若原单位不配合交接导致无法完成交接手续，此法律规定也可作为您主张权益的重要依据。

五、保留证据

在整个过程中，务必保留好离职证明、沟通记录、投诉材料等相关证据，以备后续可能的法律诉讼之用。这些证据将有助于您证明自己的立场和诉求，维护自己的合法权益。

综上所述，面对原单位拒不更换财务负责人的问题，您应积极采取措施，通过多种途径来解决问题，并确保自身合法权益得到维护。如果您在此过程中遇到任何疑问或需要进一步的法律帮助，请随时向我咨询。