损坏文物的处罚主体通常是施工方。以下是对此问题的详细分析：

一. 处罚主体的确定

根据《中华人民共和国文物保护法》的相关规定，对损坏文物的行为进行处罚时，主要依据的是行为主体的实际行为和责任。在建设工程领域，施工方作为具体的施工执行者，对施工现场的文物保护负有直接责任。

• 《中华人民共和国文物保护法》第六十六条规定，对于擅自在文物保护单位的保护范围内进行建设工程或者爆破、钻探、挖掘等作业，以及未取得文物保护工程资质证书擅自从事文物修缮、迁移、重建等行为，由县级以上人民政府文物行政部门责令改正，并给予相应的处罚。这里的“擅自进行建设工程”等行为的主体，往往就是施工方。

二. 建设方与施工方的责任区分

1. 建设方的责任：建设方作为项目的发起者和组织者，主要负责项目的整体规划、资金筹措、招投标等前期工作。在文物保护方面，建设方有责任确保项目符合文物保护的要求，并在招标文件中明确文物保护的相关要求和措施。然而，建设方并不直接参与施工，因此不是损坏文物的直接责任主体。

2. 施工方的责任：施工方作为项目的具体执行者，负责按照施工图纸和规范进行施工。在施工过程中，施工方应当严格遵守文物保护的相关规定，确保施工活动不对文物造成损害。如果施工方在施工过程中损坏了文物，那么施工方就应当承担相应的法律责任。

三. 实际案例的启示

在实际案例中，如某建设公司在施工时未按照文物保护方案进行作业，导致祠堂坍塌，最终受到相关行政部门的处罚。这一案例表明，施工方作为具体的施工执行者，对文物保护负有直接责任。如果施工方在施工过程中损坏了文物，那么文物行政部门有权依法对施工方进行处罚。

我的观点是，损坏文物的处罚主体通常是施工方。建设方虽然对整个项目负有责任，但在具体施工过程中的文物保护责任主要由施工方承担。因此，在发生损坏文物的情况时，应当首先追究施工方的法律责任。如有进一步需要，您可以继续咨询我。