结论：在工伤认定书下来后，若工人不幸去世且工厂不管，您可以首先向当地的社会保险行政部门（通常是人力资源和社会保障局）反映情况，要求其介入处理；同时，也可以考虑通过法律途径，如提起民事诉讼，来维护自己的合法权益。

详细分析：

1. 向社会保险行政部门反映：

   • 工伤认定书是由社会保险行政部门（如人力资源和社会保障局）出具的，它确认了工人的工伤事实。在工人去世后，如果工厂不承担相应的责任，您可以首先向出具工伤认定书的部门反映情况。
   • 社会保险行政部门有责任监督工伤保险的实施，包括工伤赔偿的支付。他们可以介入调查，并可能要求工厂支付相应的工伤赔偿。

2. 法律途径：

   • 提起民事诉讼：如果社会保险行政部门的介入没有结果，或者工厂仍然拒绝支付赔偿，您可以考虑向法院提起民事诉讼。在诉讼中，您可以要求工厂支付因工伤导致的死亡赔偿金、丧葬补助金、供养亲属抚恤金等。
   • 法律依据：根据《工伤保险条例》的相关规定，职工因工死亡，其近亲属可以从工伤保险基金领取丧葬补助金、供养亲属抚恤金和一次性工亡补助金。如果工厂没有为工人缴纳工伤保险，那么这些费用应由工厂承担。

3. 其他注意事项：

   • 收集证据：在采取任何行动之前，确保您收集了所有相关的证据，如工伤认定书、医疗记录、死亡证明、与工厂的沟通记录等。这些证据将在后续的行政处理或法律诉讼中起到关键作用。
   • 寻求法律援助：如果您对法律程序不熟悉，或者觉得处理起来有困难，可以考虑寻求法律援助。您可以咨询当地的法律援助机构，或者聘请一位有经验的律师来帮助您处理这个案件。

行动建议：

• 首先，向当地的社会保险行政部门反映情况，并提交所有相关的证据材料。
• 如果社会保险行政部门没有给出满意的答复，或者工厂仍然拒绝支付赔偿，考虑向法院提起民事诉讼。
• 在整个过程中，保持与工厂的沟通，并记录下所有的沟通记录，以备不时之需。

最后，处理这类问题可能会比较复杂和耗时，但请保持耐心和信心。通过合法的途径和程序，您应该能够维护自己和家人的合法权益。如果您在这个过程中有任何疑问或需要进一步的帮助，请随时向我咨询。