重大税务案件审理参与人员的回避，由该审理委员会的主任或副主任决定。具体分析如下：

1. 法律依据与审理机构
   根据《重大税务案件审理办法》（国家税务总局令第34号），重大税务案件审理委员会（以下简称“审理委员会”）是负责审理重大税务案件的专门机构，其成员包括税务机关负责人、相关业务部门负责人及法律顾问等。审理委员会下设办公室，负责日常事务性工作。

2. 回避的适用情形
   审理参与人员（包括审理委员会成员、书记员、翻译人员等）若存在以下情形之一，应当回避：

   • 是案件当事人或其近亲属；
     
   • 与案件有利害关系；
     
   • 与案件当事人有其他关系可能影响公正审理。

3. 回避的决定主体

   • 审理委员会成员的回避：由审理委员会主任或副主任决定。若主任或副主任本人需回避，则由上级税务机关指定其他负责人决定。
     
   • 其他参与人员的回避（如书记员、翻译人员等）：由审理委员会办公室主任决定，并报审理委员会备案。

4. 程序要求
   当事人提出回避申请时，需说明理由并提供相关证据。审理机构应在收到申请后3个工作日内作出决定，并书面通知申请人。若当事人对决定不服，可申请复议一次，复议决定为最终决定。

总结：重大税务案件审理参与人员的回避决定权，根据人员身份不同分别由审理委员会主任/副主任或办公室主任行使，确保审理程序的公正性。若您有具体案件需进一步分析，可直接向我咨询。