政府的文件不能直接作为行政处罚事实定性的依据。具体分析如下：
设定权限：根据行政处罚法的规定，只有法律、行政法规、地方性法规和规章可以设定行政处罚。这意味着，除了这些规范外，其他的政府规范性文件，如各类决定、命令、通知等，均不得设定行政处罚。
规范性质：政府的其他规范性文件，虽然可能包含对某一事务的管理要求或指导原则，但它们并不具备设定行政处罚的法律效力。行政处罚是国家行政机关依法行使的行政职权，必须严格依照法定的权限和程序进行。
实施依据：在实施行政处罚时，行政机关必须依据法律、法规或规章的明确规定，而不能仅凭政府的其他规范性文件。如果政府的其他规范性文件试图设定或实施行政处罚，那么这种行为将是违法的，并可能受到法律追究。
特殊情况：需要注意的是，如果政府在某些特定情况下需要制定临时性的管理措施，并涉及行政处罚，那么这些措施必须以规章的形式制定和公布，且只能在行政处罚法规定的权限内设定行政处罚。
综上所述，政府的文件（除法律、法规、规章外）不能直接作为行政处罚事实定性的依据。行政机关在实施行政处罚时，必须严格依照法定的权限和程序进行，并确保处罚的合法性和合理性。如果你对此类问题有进一步的疑问或需要具体的法律帮助，请直接向我咨询。