工厂堆放杂物的处罚需结合具体违法情形及法律规定综合判断，核心结论如下：
若违反消防安全规定
根据《中华人民共和国消防法》第六十条，单位存在“占用、堵塞、封闭疏散通道、安全出口或堆放杂物妨碍消防车通行”等行为的，由消防救援机构责令改正，处五千元以上五万元以下罚款；个人存在同类行为的，处警告或五百元以下罚款。若因堆放杂物导致火灾事故，可能构成《刑法》第一百一十五条“失火罪”，处三年以上七年以下有期徒刑，情节较轻的处三年以下有期徒刑或拘役。
若违反安全生产规定
依据《中华人民共和国安全生产法》第四十二条，生产经营单位需确保作业场所符合安全要求，堆放杂物阻碍逃生或操作空间的，由应急管理部门责令限期改正，处五万元以下罚款；逾期未改正的，责令停产停业整顿，并处五万元以上十万元以下罚款，对直接责任人员处一万元以上二万元以下罚款。若因杂物堆放引发生产安全事故，可能构成《刑法》第一百三十四条“重大责任事故罪”，处三年以下有期徒刑或拘役，情节特别恶劣的处三年以上七年以下有期徒刑。
若违反城市管理规定
根据《城市市容和环境卫生管理条例》第三十四条，在公共区域（如厂区外道路、绿化带）堆放杂物的，由城市管理部门责令限期清理，逾期未清理的，可代为清理并处五十元以上五百元以下罚款。若堆放行为导致环境污染（如易燃易爆物泄漏），可能同时违反《中华人民共和国环境保护法》第六十八条，由生态环境部门责令改正并处罚款。
实务建议：工厂应定期清理杂物，确保消防通道、安全出口、作业空间畅通；对易燃易爆、有毒有害物品需单独存放并设置警示标识；建议制定安全管理制度并开展员工培训。若已收到行政处罚通知，需在法定期限内履行义务或申请行政复议/诉讼，避免处罚升级。具体法律适用需结合杂物性质、堆放位置、危害后果等细节判断，如有疑问可直接向我咨询。