应当撤销行政许可而不撤销的，被许可人或利害关系人可依法申请行政复议或提起行政诉讼，以维护自身合法权益。以下是对此问题的详细分析：
一、应当撤销行政许可的情形
根据相关法律法规，行政许可应当在以下情形中被撤销：
行政机关工作人员滥用职权、玩忽职守作出准予行政许可决定：这包括行政机关工作人员在审批过程中违反规定，滥用权力或疏忽职守，导致不符合条件的申请人获得了行政许可。
行政机关及其工作人员超越法定职权作出准予行政许可决定：即行政机关或其工作人员在超出其法定职权范围的情况下作出了准予行政许可的决定。
行政机关违反法定程序作出准予行政许可决定：行政机关在审批过程中未遵循法定程序，如未进行必要的审查、未听取利害关系人的意见等，导致作出了错误的行政许可决定。
申请人不具备申请资格或者不符合法定条件：即申请人本身不符合获得行政许可的条件，如未达到法定年龄、未具备必要的资质等。
申请人以欺骗、贿赂等不正当手段取得行政许可：申请人通过虚假陈述、提供虚假材料或贿赂等方式获得了行政许可。
依法可以撤销行政许可的其他情形：这包括其他法律法规规定的可以撤销行政许可的情形。
二、不撤销行政许可的可能后果及应对措施
如果行政机关在应当撤销行政许可的情况下未进行撤销，可能会产生以下后果：
损害公共利益：如果行政许可的获得存在违法情形，且该许可涉及公共利益，如食品安全、环境保护等，那么不撤销该许可可能会对公共利益造成损害。
损害利害关系人的合法权益：不撤销违法的行政许可可能会损害其他利害关系人的合法权益，如相邻权人的权益、市场竞争者的权益等。
应对措施：
申请行政复议：被许可人或利害关系人认为行政机关未依法撤销行政许可的，可以向上一级行政机关申请行政复议，要求复议机关审查原行政许可决定的合法性，并作出相应的复议决定。
提起行政诉讼：如果对行政复议结果不服，或者认为行政机关的行为严重侵犯了其合法权益，被许可人或利害关系人可以向人民法院提起行政诉讼，要求法院判决撤销违法的行政许可决定。
三、撤销行政许可的程序及注意事项
在撤销行政许可时，行政机关应当遵循以下程序：
立案调查：行政机关在发现可能存在应当撤销行政许可的情形时，应当立案进行调查，收集相关证据。
告知当事人：行政机关在作出撤销行政许可决定前，应当告知当事人相关事实、理由和依据，并听取当事人的陈述和申辩。
作出决定：经调查核实后，行政机关应当作出是否撤销行政许可的决定，并书面通知当事人。
送达与执行：行政机关应当将撤销行政许可的决定送达当事人，并监督执行。
注意事项：
撤销行政许可可能对公共利益造成重大损害的，行政机关不得撤销。
撤销行政许可损害被许可人的合法权益的，除被许可人以欺骗、贿赂等不正当手段取得行政许可的外，行政机关应当依法给予赔偿。
在实际操作中，如果遇到应当撤销行政许可而不撤销的情况，建议被许可人或利害关系人及时咨询专业律师，了解具体的法律程序和应对措施，以维护自身的合法权益。