政府向违规排污的工厂收取排污费不属于行政处罚。下面我将从法律角度详细解释这一结论：

1. 行政处罚的定义与种类：

   • 根据《中华人民共和国行政处罚法》第二条，行政处罚是指行政机关依法对违反行政管理秩序的公民、法人或者其他组织，以减损权益或者增加义务的方式予以惩戒的行为。
   • 行政处罚的种类包括警告、通报批评；罚款、没收违法所得、没收非法财物；暂扣许可证件、降低资质等级、吊销许可证件；限制开展生产经营活动、责令停产停业、责令关闭、限制从业；行政拘留；以及法律、行政法规规定的其他行政处罚。

2. 排污费的性质：

   • 排污费是行政机关依职权主动实施的一种行政征收行为，以公民、法人或者其他组织负有行政法上的缴纳义务为条件。
   • 征收排污费不属于行政许可行为，也不属于行政处罚行为，而是基于环境保护法律法规对排污者征收的一种费用，用于污染治理和环境保护。

3. 法律依据：

   • 根据相关法律法规及复函，如《排污费征收使用管理条例》及《关于各级环境监察部门受委托征收排污费有关问题的复函》，均明确指出征收排污费不属于行政许可或行政处罚行为。
   • 这些法律法规和复函进一步确认了排污费的行政征收性质，以及环境保护行政主管部门可以委托非行政机关组织征收排污费的合法性。

综上所述，政府向违规排污的工厂收取排污费是一种行政征收行为，而非行政处罚。这一结论基于行政处罚的定义与种类、排污费的性质以及相关法律法规的明确规定。如有其他法律问题或疑问，请直接向我咨询。