产品不合格时，处罚对象需根据具体情况判断，可能涉及代加工工厂、委托方或双方。
一. 责任归属分析
代加工工厂责任：
- 若产品不合格是由于代加工工厂在生产过程中的问题导致的，如生产工艺不当、使用劣质材料等，代加工工厂将承担主要责任，并可能面临相应的处罚。
委托方责任：
- 委托方作为产品的最终责任人，对产品的质量也负有重要责任。若委托方在提供原材料、设计或质量要求等方面存在过错，导致产品不合格，委托方也应承担相应责任。
双方责任：
- 在某些情况下，产品不合格可能是由代加工工厂和委托方共同的责任导致的。例如，委托方提供了有缺陷的原材料，而代加工工厂未能发现或纠正这一问题。此时，双方都应承担相应责任，并可能同时受到处罚。
二. 具体处罚措施
根据《中华人民共和国产品质量法》第五十条的规定，对于产品不合格的处罚措施主要包括：
- 责令停止生产、销售；
- 没收违法生产、销售的产品；
- 并处违法生产、销售产品货值金额百分之五十以上三倍以下的罚款；
- 有违法所得的，并处没收违法所得；
- 情节严重的，吊销营业执照；
- 构成犯罪的，依法追究刑事责任。
这些处罚措施将根据实际情况应用于责任方，无论是代加工工厂、委托方还是双方。
三. 特殊情况处理
- 如果代加工工厂能够证明其已按照委托方的要求和提供的原材料进行生产，且产品不合格是由于委托方的原因导致的，那么处罚将主要针对委托方。
- 如果委托方能够证明其已尽到合理的监督义务，且产品不合格是由于代加工工厂的问题导致的，那么处罚将主要针对代加工工厂。
我建议，在实际操作中，应首先明确产品不合格的具体原因和责任归属，然后根据相关法律法规进行公正、合理的处罚。同时，各方也应加强合作与沟通，共同确保产品质量合格，维护市场秩序和消费者权益。如有进一步需要，您可以继续咨询我。