在孕期、产期、哺乳期女职工存在严重过错的情况下，用人单位可以解除与其的劳动合同。具体情形包括：
严重违反用人单位规章制度：例如，女职工多次旷工、严重违反保密制度等，且这些行为已达到用人单位规章制度中明确规定的可解除劳动合同的程度。用人单位的规章制度需符合法律规定的制定程序，内容合理合法，并已向劳动者公示。
严重失职，营私舞弊，给用人单位造成重大损害：女职工在工作中因严重不负责任等失职行为，或为谋取私利而损害单位利益，给用人单位造成重大经济损失或其他重大损害后果。这里的“重大损害”通常由用人单位在规章制度中明确界定，但需合理且符合实际情况。
与其他用人单位建立劳动关系并严重影响本职工作：女职工在与本单位建立劳动关系期间，又与其他单位建立劳动关系，导致无法正常完成本单位的工作任务，或经本单位指出后仍不改正。
以欺诈、胁迫手段订立或变更劳动合同：女职工在入职时提供虚假学历证明、工作经历等重要信息，使用人单位在被欺骗的情况下与其签订劳动合同。这种情况下，劳动合同将被视为无效，用人单位可以解除。
被依法追究刑事责任：女职工因犯罪行为被人民法院判处刑罚（包括主刑和附加刑），用人单位可以据此解除劳动合同。
这些情形的法律依据主要来自于《中华人民共和国劳动合同法》第三十九条的规定。在这些特定情形下，用人单位可以解除劳动合同，且无需支付经济补偿金。但用人单位在解除劳动合同时，应确保行为合法合规，避免违法解除带来的法律风险和经济损失。同时，也建议用人单位在解除劳动合同前，与女职工进行充分沟通协商，尽量通过和解、调解等方式解决争议。