在矿山不按设计施工的情况下，行政处罚的对象既可能是施工单位，也可能是建设单位，具体取决于违法行为的主体和情节。以下从不同角度进行分析：

1. 施工单位责任：

   • 直接违法行为：如果施工单位在施工过程中未按照设计文件进行施工，如擅自改变施工方法、省略关键工序等，那么施工单位将直接承担违法责任。根据《中华人民共和国矿山安全法》及相关规定，施工单位必须严格按照设计文件进行施工，确保矿山建设的安全和质量。
   • 行政处罚：对于施工单位的违法行为，行政主管部门可以依法对其进行行政处罚，包括罚款、责令停产整顿、吊销施工资质等。这些处罚措施旨在惩罚违法行为，并促使施工单位改正错误，确保矿山建设的合法性和安全性。

2. 建设单位责任：

   • 监督与管理责任：建设单位作为矿山建设的发起者和组织者，对施工单位的行为负有监督和管理责任。如果建设单位未履行好监督职责，导致施工单位不按设计施工，那么建设单位也可能承担相应的法律责任。
   • 连带责任：在某些情况下，如果建设单位与施工单位存在共同违法行为或故意纵容施工单位违法行为，建设单位可能需要与施工单位承担连带责任。这意味着行政主管部门可以对建设单位和施工单位同时进行行政处罚。
   • 特定情形下的直接责任：如果建设单位直接参与或指挥了不按设计施工的行为，那么建设单位将直接成为违法行为的主体，并承担相应的行政责任。

3. 综合考量因素：

   • 违法行为的具体情节：行政主管部门在决定处罚对象时，会综合考虑违法行为的具体情节，包括违法行为的性质、严重程度、持续时间等。
   • 各方责任的大小：根据各方在违法行为中的责任大小，行政主管部门会确定相应的处罚对象和处罚力度。
   • 法律法规的规定：最终处罚对象的确定还需依据相关法律法规的规定，确保处罚的合法性和公正性。

法律建议：

• 对于施工单位而言，应严格遵守设计文件进行施工，确保矿山建设的安全和质量。如遇到设计变更等特殊情况，应及时与建设单位沟通并办理相关手续。
• 对于建设单位而言，应加强对施工单位的监督和管理，确保施工单位按照设计文件进行施工。同时，建设单位也应建立健全内部管理制度，防止自身参与或指挥违法行为。
• 如发生矿山不按设计施工的情况，各方应积极配合行政主管部门的调查和处理工作，如实提供相关证据和信息，以便行政主管部门准确判断违法行为主体和情节，并作出公正的处罚决定。

如有进一步疑问或需要更具体的法律建议，请直接向我咨询。