根据《中华人民共和国治安管理处罚法》及相关法规，机关检查旅馆特种行业许可证不合格的，可处以以下罚款：
直接罚款情形
若旅馆未取得特种行业许可证擅自经营，或证件过期、失效仍继续经营的，公安机关可依据《治安管理处罚法》第五十四条，对直接负责的主管人员和其他直接责任人员处十日以上十五日以下拘留，并处五百元以上一千元以下罚款；情节较轻的，处五日以下拘留或五百元以下罚款。
法律依据：《治安管理处罚法》第五十四条第三款规定，未经许可擅自经营需公安机关许可的行业的，处相应处罚。
证件不合格但未构成无证经营的情形
若旅馆已取得许可证，但存在证件信息不符、未按规定年审、未悬挂公示等违规行为，公安机关可依据《旅馆业治安管理办法》第十五条，责令限期改正；逾期不改正的，处警告或二百元以上五百元以下罚款。
法律依据：《旅馆业治安管理办法》明确，旅馆需接受公安机关的治安管理检查，违规者需承担行政责任。
情节严重或拒不整改的情形
若旅馆多次被查不合格，或存在重大安全隐患（如消防不达标、未落实实名登记等），公安机关可依据《中华人民共和国反恐怖主义法》第八十六条，对单位处十万元以上五十万元以下罚款，对直接负责的主管人员和其他直接责任人员处十万元以下罚款。
法律依据：反恐法对涉及公共安全的行业提出了更高要求，违规情节严重者将面临更严厉处罚。
建议：旅馆经营者需定期自查证件有效性，确保符合治安、消防等法规要求；若被处罚，应及时整改并配合调查，避免处罚升级。如有具体案件细节需进一步分析，可直接向我咨询。