伪造增值税发票若不构成刑事处罚，将由税务机关进行行政处罚。具体分析如下：

1. 税务机关的行政处罚权
   根据《中华人民共和国发票管理办法》第三十八条，伪造发票的行为由税务机关责令改正，没收违法所得，并处以1万元以上50万元以下罚款；若构成犯罪，则依法追究刑事责任。因此，当伪造增值税发票的行为未达到刑事立案标准（如情节轻微、数额较小等）时，税务机关将依据该条款进行行政处罚。

2. 行政处罚与刑事处罚的衔接
   若伪造增值税发票的行为同时满足《刑法》第二百零六条的构成要件（如伪造并出售增值税专用发票，或虚开税款数额较大等），则需移送公安机关立案侦查，追究刑事责任。此时，行政处罚与刑事处罚可能并行或择一适用，但行政处罚的启动不以刑事立案为前提。

3. 其他可能的处罚主体
   在极少数情况下，若伪造行为涉及其他违法情形（如伪造国家机关公文、印章等），可能由公安机关依据《治安管理处罚法》或《刑法》进行处罚。但单纯伪造增值税发票未达刑事标准的，处罚主体仍为税务机关。

建议：若您或他人涉及此类行为，建议立即停止并主动向税务机关说明情况，配合调查以争取从轻处理。如有进一步疑问，可直接向我咨询具体法律适用问题。