政府信息公开回复并不必须是书面的。具体分析如下：

根据《中华人民共和国政府信息公开条例》的相关规定，政府信息公开的方式和形式应当便于公民、法人和其他组织获取。政府信息可以通过政府公报、政府网站、新闻发布会以及报刊、广播、电视等便于公众知晓的方式公开。同时，行政机关应当及时、准确地公开政府信息，并加强政府信息资源的整合，提高政府信息公开的效率和质量。

从这些规定可以看出，政府信息公开的形式是多样的，并不局限于书面回复。行政机关可以通过多种方式和渠道公开政府信息，以满足公众的需求。例如，政府可以在其官方网站上发布政策文件、公告通知等信息，公众可以通过互联网直接获取；政府也可以召开新闻发布会，通过媒体向公众传达重要信息。

因此，在申请政府信息公开时，申请人可以根据自身需求和实际情况选择适合的获取方式，而行政机关也应当按照规定的方式和形式及时、准确地公开政府信息。如果申请人有特定需求，如需要书面回复或特定格式的回复，可以在申请时明确提出，行政机关应当尽量满足申请人的合理需求。