在行政案件中，回避的决定权通常归属于该行政机关的负责人。具体来说，当行政案件中的审判人员或其他相关人员存在可能影响公正审判的情形时，需要适用回避制度。以下是对这一问题的详细分析：

回避的决定主体

1. 行政机关负责人：在行政案件中，回避的决定一般由该行政机关的负责人作出。这是因为行政机关负责人对案件的整体情况有较为全面的了解，能够综合判断相关人员是否应当回避。

2. 特殊情况下的决定主体：在某些特殊情况下，如涉及较高层级行政机关或复杂案件时，回避的决定可能需要由更高层级的行政机关或专门机构作出。但这并非普遍情况，具体需根据案件性质和行政机关的组织架构来确定。

回避的适用情形

根据相关法律法规，行政案件中的回避主要适用于以下情形：

1. 与案件有利害关系：如果审判人员或其他相关人员与案件有利害关系，可能影响公正审判的，应当回避。

2. 可能影响公正审判的其他情形：除了与案件有利害关系外，如果存在其他可能影响公正审判的情形，如个人偏见、与当事人有特殊关系等，相关人员也应当回避。

回避的程序

1. 提出回避申请：当事人认为审判人员或其他相关人员存在应当回避的情形时，可以向行政机关提出回避申请。

2. 审查与决定：行政机关在收到回避申请后，应当进行审查，并根据审查结果作出是否回避的决定。决定应当以书面形式作出，并告知当事人。

3. 救济途径：如果当事人对回避决定不服，可以依法申请复议或提起诉讼，以维护自己的合法权益。

实际应用中的注意事项

1. 及时提出回避申请：当事人在发现审判人员或其他相关人员存在应当回避的情形时，应当及时提出回避申请，以免影响案件的公正审判。

2. 提供充分证据：当事人在提出回避申请时，应当提供充分的证据来支持自己的主张，以便行政机关能够准确判断相关人员是否应当回避。

3. 尊重回避决定：一旦行政机关作出回避决定，当事人应当尊重并遵守该决定，不得无理纠缠或干扰案件的审理。

总结来说，在行政案件中，回避的决定权通常归属于该行政机关的负责人。当事人在认为审判人员或其他相关人员存在应当回避的情形时，应当及时提出回避申请，并提供充分证据来支持自己的主张。如果你在行政案件中遇到了回避相关的问题，或者对回避制度有任何疑问，都可以直接向我咨询，我会为你提供专业的法律解答。