解除工伤委托代理合同，一般应与签订合同的对方（即受托的律师事务所或律师）协商解除，若协商不成，可通过法律途径解决，而非直接找某个政府部门解除。以下是详细分析：

1. 合同性质与解除原则
   工伤委托代理合同属于民事委托合同范畴，其订立、履行、变更和解除均受《中华人民共和国民法典》合同编调整。根据《民法典》第九百三十三条，委托人或受托人可随时解除委托合同，但需注意：

   • 无因解除权：双方均有权单方解除合同，但解除方可能需承担因解除造成的合理损失（如受托人已完成的准备工作费用）。
     
   • 约定优先：若合同中明确约定了解除条件或程序（如提前通知期限、违约责任），应优先按约定执行。

2. 解除流程

   • 协商解除：建议首先与受托方（律师事务所或律师）沟通，明确解除意愿及原因，协商处理未结费用、材料返还等事宜。
     
   • 单方通知解除：若协商无果，委托人可书面通知受托方解除合同，并保留送达证据（如邮寄回执、电子邮件记录）。
     
   • 争议解决：若因解除产生纠纷（如费用争议、服务质量问题），可向当地律师协会投诉，或通过诉讼/仲裁解决。

3. 政府部门角色

   • 无直接解除权：司法行政机关（如司法局）或律师协会负责律师行业监管，但无权直接干预或解除民事合同。
     
   • 监管职责：若受托方存在违规行为（如私自收费、未履行代理职责），可向当地司法局或律师协会举报，由其调查处理。

行动建议：

1. 查阅委托代理合同条款，确认解除程序及责任；
   
2. 优先与受托方协商，书面记录解除协议；
   
3. 若遇纠纷，及时收集证据（如合同、付款凭证、沟通记录），并通过法律途径维权。
   

如有进一步疑问，可直接向我提问，我将结合具体案情提供分析。