工厂货物因品质评判不行而退货的问题，通常涉及消费者权益保护或合同纠纷，具体由哪个部门处理取决于货物的性质、购买方身份以及合同条款等因素。以下从不同角度进行分析：

1. 消费者购买货物的情况：

   • 如果购买方是消费者，且货物存在质量问题或不符合约定标准，根据《中华人民共和国消费者权益保护法》的相关规定，消费者有权要求退货、换货或修理。
   • 在这种情况下，消费者可以先与工厂协商解决。如果协商不成，可以向当地的消费者协会投诉，或者向市场监督管理部门（如工商局）举报，请求其介入调查并调解纠纷。
   • 若市场监督管理部门调解无果，消费者还可以向人民法院提起诉讼，要求工厂承担相应的法律责任。

2. 企业间购买货物的情况：

   • 如果购买方是企业，且货物因品质问题需要退货，这通常属于合同纠纷范畴。
   • 企业应首先审查与工厂签订的合同，看合同中是否有关于货物质量、退货条件及程序等条款的约定。
   • 如果有约定，企业应按照合同条款与工厂协商退货事宜。如果工厂拒绝退货或协商不成，企业可以向人民法院提起诉讼，要求工厂履行合同义务或承担违约责任。
   • 在某些情况下，如果合同中约定了仲裁条款，企业还可以选择向约定的仲裁机构申请仲裁来解决纠纷。

3. 特殊货物的处理：

   • 对于某些特殊货物（如食品、药品、医疗器械等），如果因品质问题需要退货，可能还涉及相关监管部门的介入。
   • 例如，食品因质量问题需要退货时，消费者或企业可以向当地的食品药品监督管理部门投诉，请求其进行调查并处理。

建议：

• 在处理此类纠纷时，建议首先保留好相关证据，如购买合同、货物质量检测报告、沟通记录等，以便在需要时提供证明。
• 如果可能的话，尽量与工厂进行友好协商，以达成双方都能接受的解决方案。
• 如果协商不成或工厂拒绝承担责任，再考虑通过法律途径解决纠纷。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。