可以跟工厂索要赔偿。针对您提出的问题，我将从法律角度进行全面分析：
一、法律关系分析
在委托加工关系中，工厂作为受托方，负有按照委托方要求加工产品的义务。若工厂在加工过程中因过错导致产品损坏，并给委托方造成严重损失，工厂的行为即构成违约。根据《中华人民共和国民法典》的相关规定，违约方应当承担赔偿损失等违约责任。
二、赔偿依据及范围
赔偿依据：
- 《中华人民共和国民法典》第五百七十七条规定：“当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。”
- 在委托加工合同中，若工厂未能按照约定加工出合格产品，或加工过程中导致产品损坏，即属于履行合同义务不符合约定，应当承担赔偿责任。
赔偿范围：
- 赔偿范围通常包括直接损失和间接损失。直接损失是指因工厂违约行为直接导致的财产减少或灭失，如损坏产品的价值、修复费用等。
- 间接损失则是指因工厂违约行为而导致的可得利益损失，如因产品损坏而错失的销售机会、客户流失等。但需要注意的是，间接损失的赔偿通常需要委托方提供充分证据证明其可得利益的损失。
三、索赔流程及建议
收集证据：
- 委托方应首先收集与工厂违约行为相关的证据，如加工合同、产品损坏照片、损失评估报告等。这些证据将有助于证明工厂的违约行为以及委托方的损失情况。
与工厂协商：
- 在收集到充分证据后，委托方可以与工厂进行协商，要求其承担赔偿责任。协商过程中，双方可以就赔偿金额、赔偿方式等事项进行讨论并达成一致。
提起诉讼或申请仲裁：
- 若协商无果，委托方可以向人民法院提起诉讼或根据合同约定向仲裁机构申请仲裁，要求工厂承担赔偿责任。在诉讼或仲裁过程中，委托方需要提交相关证据证明其主张，并接受法院或仲裁机构的审理和裁决。
四、注意事项
及时行动：
- 委托方在发现产品损坏后，应及时采取行动，收集证据并与工厂进行协商。拖延时间可能导致证据灭失或损失扩大，从而影响索赔效果。
合理索赔：
- 委托方在索赔时，应合理确定赔偿金额和赔偿方式。过高的索赔要求可能得不到法院或仲裁机构的支持，而过低的索赔要求则可能无法充分弥补委托方的损失。
法律程序：
- 委托方在索赔过程中，应遵守法律程序，不得采取非法手段进行索赔。否则，可能面临法律责任和声誉损失。
总结来看，如果工厂把委托方的产品做坏了，造成了委托方严重损失，委托方是可以跟工厂索要赔偿的。在索赔过程中，委托方应收集充分证据、与工厂进行协商，并在必要时提起诉讼或申请仲裁。如果您在此过程中遇到任何法律问题或需要进一步的法律帮助，请随时向我咨询。