不适用简易程序的案件主要包括以下几类：

刑事案件

在刑事案件中，以下情形不适用简易程序：

1. 被告人是特殊人群：如盲、聋、哑人，或者是尚未完全丧失辨认或者控制自己行为能力的精神病人。
2. 案件有重大社会影响：这类案件通常涉及广泛的社会关注，因此不宜简化程序。
3. 共同犯罪案件中部分被告人不认罪：或者对适用简易程序有异议，这会影响案件的公正审理。
4. 其他不宜适用简易程序审理的情形：这包括但不限于案件事实复杂、证据不足等情形。

民事案件

在民事案件中，以下情形同样不适用简易程序：

1. 起诉时被告下落不明：这导致案件无法直接进行审理，需要采用更复杂的程序来寻找被告。
2. 发回重审的案件：这类案件通常已经过一审或二审，存在需要重新审理的特殊原因。
3. 适用审判监督程序的案件：这类案件涉及对已经生效的判决、裁定的监督，需要更加严格的程序来确保公正。
4. 涉及国家利益、社会公共利益的案件：这类案件的影响范围广泛，需要更加谨慎地审理。
5. 第三人起诉请求改变或者撤销生效判决、裁定、调解书的案件：这类案件涉及对已经生效的法律文书的挑战，需要更加复杂的程序来审理。
6. 其他不宜适用简易程序的案件：这包括案件事实复杂、争议较大、涉及的法律关系复杂等情形。

综上所述，不适用简易程序的案件主要包括刑事案件中的特殊人群、重大社会影响案件、共同犯罪案件中的异议情况，以及民事案件中的被告下落不明、发回重审、审判监督程序、涉及国家利益或社会公共利益、第三人请求改变或撤销生效法律文书等情形。在这些情况下，为了确保案件的公正、准确和合法，需要采用更加复杂和严谨的程序进行审理。