在工厂中，危险废物的处理责任主要归属于产生这些废物的单位或部门，这遵循的是“谁产生、谁负责”的原则。具体来说，工厂内的各个职能部门、生产车间等，如果它们在生产过程中产生了危险废物，那么这些单位或部门就有责任对这些废物进行妥善的处理。

首先，工厂应建立严格的工业垃圾和危险废物管理制度，明确各类废物的分类、收集、转运、存储等流程，以确保废物得到规范处理，避免对环境造成污染。这包括使用专门的垃圾桶或容器来收集不同类型的废物，特别是危险废物，需要采取防渗漏、防溢流等措施，以防止废物泄漏对环境造成危害。

其次，对于危险废物的处理，工厂可以选择自行处理或委托给具有相关资质的单位进行代处置。如果工厂选择自行处理，那么需要确保处理过程符合国家和地方的相关法律法规要求，具备相应的处理设施和技术能力。如果工厂选择委托代处置，那么需要选择具有合法资质和良好信誉的处置单位，并签订委托处理合同，明确双方的责任和义务。

此外，工厂还需要定期对危险废物的存储和处理情况进行检查，确保废物得到及时、有效的处理。如果发现废物处理过程中存在问题或隐患，需要及时采取措施进行整改，以防止对环境造成不良影响。

最后，需要强调的是，工厂在处理危险废物时，必须严格遵守国家和地方的相关法律法规要求，确保废物得到合法、安全、有效的处理。如果工厂违反相关规定，可能会面临法律责任和行政处罚。

综上所述，工厂内危险废物的处理责任主要归属于产生废物的单位或部门，它们需要建立严格的管理制度，选择合适的处理方式，并定期进行检查和整改，以确保废物得到妥善处理。