针对您提出的“工厂没有按照图纸怎么处罚”的问题，这确实是一个涉及工程质量和合规性的重要问题。以下是我根据相关法律法规和政策，为您提供的详细解答：

首先，工厂或施工单位未按照设计图纸进行施工，是违反了《建筑法》、《建设工程质量管理条例》等相关规定的行为。这种行为可能会对工程质量造成严重影响，甚至引发安全事故，因此必须受到相应的处罚。

处罚流程：

1. 上报管理部门：一旦发现工厂未按照图纸施工，应立即将情况上报给所在的管理部门，如当地的建设主管部门或城市管理局。

2. 审查与立案：管理部门会派相关科室进行审查，并立案调查。

3. 深入调查与检查：会有专门的工作人员对这个问题展开深入的调查和检查，收集各种证据，包括施工记录、图纸对比、现场勘查等。

4. 出具调查报告：调查结束后，负责的工作人员会给出一份详细的调查报告，明确违规事实和责任。

处罚措施：

根据违规的严重程度，处罚措施也会有所不同，一般包括以下几种：

1. 责令改正：对于轻微违规行为，管理部门会责令工厂停止违规施工，并限期改正。

2. 罚款：对于一般或严重违规行为，管理部门会根据违规情节的严重程度，处以一定数额的罚款。罚款金额可能根据工程合同价款的一定比例（如百分之二以上百分之四以下）来确定，或者根据违规行为的性质和后果，直接规定罚款数额（如3万元以下）。

3. 停业整顿：对于情节特别严重的违规行为，管理部门可能会勒令工厂停业整顿，直至其整改到位并符合相关要求。

4. 降低资质等级或吊销资质证书：如果工厂已经取得设计、施工资格证书，但违规行为情节严重，管理部门可能会提请原发证机关降低其资质等级或直接吊销其资质证书。

具体处罚标准示例：

• 轻微违法行为：如未按规范设计、施工，但尚可补救、修复的，可能处以1万元以下的罚款。
• 一般违法行为：如未按规范设计、施工，不能补救、修复但危害后果不严重的，可能处以1万元以上2万元以下的罚款。
• 严重违法行为：如未按规范设计、施工，不能补救、修复且危害后果严重的，可能处以2万元以上3万元以下的罚款，并可能提请发证机关吊销设计、施工资格证书。

综上所述，工厂未按照图纸施工将面临严重的法律后果和处罚。因此，我建议您如果发现此类情况，应立即上报管理部门，并积极配合调查和整改工作，以确保工程质量和安全。