在行政诉讼中，简易程序的不适用情形主要包括以下几类：

1. 发回重审、按照审判监督程序再审的案件：这类案件由于之前已经过审理，且存在需要重新审查或纠正的问题，因此不宜再适用简易程序进行审理，以确保审理的公正性和全面性。

2. 涉及国家利益、社会公共利益的案件：这类案件通常影响广泛，涉及众多利益群体的关切，因此需要更为严谨和细致的审理程序，以确保判决的公正性和合理性，维护国家和社会的整体利益。

3. 第三人参加诉讼的案件：当案件中有第三人参与时，法律关系可能变得更为复杂，涉及多方利益的平衡和协调。因此，这类案件也不宜适用简易程序，以免因程序简化而忽略或损害某方当事人的合法权益。

4. 案件涉及的法律适用问题疑难复杂的：如果案件涉及的法律问题较为复杂，需要深入分析和论证，或者存在法律适用上的争议，那么也不宜适用简易程序。因为简易程序主要是针对事实清楚、权利义务关系明确、争议不大的案件设计的，而这类复杂案件需要更为详细的审理和探讨。

5. 被告下落不明或原告、第三人人数众多的：如果被告下落不明，将导致诉讼文书无法直接送达，影响诉讼程序的正常进行。而原告或第三人人数众多，则可能使得案件处理变得复杂和繁琐，需要更多的时间和精力来协调各方利益。因此，这类案件也不宜适用简易程序。

综上所述，行政诉讼中简易程序的不适用情形主要包括发回重审或再审的案件、涉及国家利益或社会公共利益的案件、第三人参加诉讼的案件、法律适用问题疑难复杂的案件以及被告下落不明或原告、第三人人数众多的案件。这些情形的存在，要求人民法院在审理过程中必须根据案件的具体情况和需要，选择适当的程序进行审理，以确保判决的公正性和合理性。