若单位存在过错但您不想离职，可采取以下措施维护自身权益：

1. 明确单位过错的具体情形
   首先需界定单位过错是否构成《劳动合同法》第38条规定的“被迫解除劳动合同”情形（如未及时足额支付劳动报酬、未依法缴纳社保、违反安全规定等）。若单位过错未达到法定严重程度（如轻微管理瑕疵），您选择继续履约时，需优先通过协商或内部申诉解决矛盾。

2. 通过协商或内部机制解决

   • 书面提出整改要求：向单位发送《履职异议函》，明确指出单位过错（如拖欠工资、违规调岗等），要求限期改正并保留送达证据（EMS邮寄或邮件确认）。
     
   • 启动内部申诉流程：查阅单位规章制度中关于争议解决的条款，通过工会、职工代表大会或内部监察部门提出申诉，要求单位纠正违法行为。
     
   • 留存证据链：对单位过错行为（如工资条、考勤记录、违规通知等）进行公证或电子存证，为后续维权提供依据。

3. 向劳动监察部门投诉
   若单位拒绝改正且过错行为违反《劳动保障监察条例》（如拖欠工资、超时加班），可向当地劳动监察大队提交书面投诉材料，要求行政机关介入调查并责令单位整改。此途径不要求您必须离职，但需注意投诉时效（通常为违法行为终止后2年内）。

4. 申请劳动仲裁主张权益

   • 若单位过错已造成实际损失（如未缴社保导致医疗费无法报销），可申请仲裁要求单位赔偿损失，同时继续履行劳动合同。
     
   • 若单位存在胁迫或欺诈行为（如伪造考勤记录、强迫签署不平等协议），可主张劳动合同部分无效或可撤销，要求恢复原工作条件。
     
   • 仲裁请求设计：需明确诉求（如补发工资、补缴社保、恢复岗位等），并附证据清单，避免因诉求模糊导致败诉。

5. 特殊情形下的应对策略

   • 单位以“过错”为由单方调岗降薪：若调岗缺乏合理性（如从技术岗调至保洁岗），您有权拒绝并要求按原合同履行。单位若以此为由解除合同，可能构成违法解除，您可主张2N赔偿金。
     
   • 单位通过“末位淘汰”等变相裁员：根据《劳动合同法》第40条，末位淘汰不属于法定解除情形，您可要求单位继续履行合同或支付赔偿金。
     
   • 单位存在刑事犯罪风险（如虚开发票、非法经营）：若单位行为已涉嫌犯罪，您作为知情员工可能面临连带风险，此时需权衡利弊后决定是否继续履职，并可向公安机关举报。

风险提示：若单位过错持续存在且您选择继续履约，需注意避免“以消极怠工等方式对抗单位”，否则可能被单位以“严重违反规章制度”为由合法解除合同。建议通过合法途径主张权益，必要时委托律师介入谈判或诉讼程序。