对于公民邮寄的信件，行政机关并非一定要回复，但需根据信件内容及性质来判断是否需要回复。以下从不同角度进行分析：

1. 政府信息公开申请：

   • 如果公民邮寄的信件是明确的政府信息公开申请，那么行政机关有义务根据《中华人民共和国政府信息公开条例》的相关规定进行回复。该条例明确规定了行政机关在收到政府信息公开申请后，应当根据不同情况分别作出答复，包括予以公开、部分公开、不予公开等，并说明理由。若行政机关未在法定期限内答复，公民有权依法申请行政复议或提起行政诉讼。

2. 普通咨询或建议信件：

   • 对于公民邮寄的普通咨询或建议信件，虽然法律并未明确规定行政机关必须回复，但行政机关出于服务公众、提升治理效能的考虑，通常会进行回复或至少进行登记处理。这种回复并非法律义务，而是行政机关的一种服务态度和治理方式。若行政机关选择不回复，公民通常无法直接通过法律途径追究其责任，但可以通过其他渠道（如向上级机关反映、通过媒体曝光等）表达诉求。

3. 涉及投诉、举报的信件：

   • 如果公民邮寄的信件涉及投诉、举报等事项，行政机关则必须根据相关法律法规进行处理并回复。例如，《信访条例》规定，行政机关在收到信访事项后，应当自收到之日起15日内书面告知信访人是否受理，并在受理之日起60日内办结并书面答复信访人。若行政机关未按规定处理或回复，信访人有权依法申请复查、复核或提起行政诉讼。

法律建议：

• 对于公民而言，若希望确保行政机关对邮寄的信件进行回复，可以在信件中明确表明申请政府信息公开、投诉举报等意图，并附上相关证据材料，以便行政机关能够准确识别并依法处理。
• 若行政机关未对信件进行回复或处理不当，公民可以依法申请行政复议或提起行政诉讼，维护自身合法权益。

可能后果：

• 若行政机关未依法对政府信息公开申请进行回复，可能面临被公民申请行政复议或提起行政诉讼的风险，并可能承担相应的法律责任。
• 对于普通咨询或建议信件，虽然法律未规定必须回复，但行政机关若长期忽视公众诉求，可能影响其公信力和治理效能。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。