行政回避的决定主体根据不同情况有所差异，具体如下：

1. 行政机关负责人担任案件承办人员时的回避决定

   • 当行政机关负责人（如局长、主任等）直接担任某案件的承办人员，并因法定回避事由需要回避时，其回避决定应由该行政机关的上一级行政机关负责人作出。例如，若县级市场监督管理局局长在处理某一案件时需要回避，那么其回避决定应由市级市场监督管理局的负责人来作出。这一规定旨在确保回避决定的客观性和公正性，避免内部利益冲突。

2. 一般行政人员担任案件承办人员时的回避决定

   • 对于普通行政人员（如科员、执法员等）作为案件承办人员需要回避的情况，回避决定则由该行政人员所属的行政机关负责人作出。以县公安局为例，若民警张某在办理治安案件时存在回避情形，那么张某的回避决定应由县公安局局长来作出。这样的安排既保证了回避决定的及时性，也体现了行政机关内部的层级管理原则。

3. 多个行政机关共同作出行政决定时的回避决定

   • 当多个行政机关以共同名义作出行政决定，且涉及回避问题时，回避决定应由这些机关的共同上一级行政机关来作出。这一规定确保了在不同行政机关之间协调一致，避免回避决定出现冲突或矛盾，从而维护行政决定的公正性和权威性。

4. 公安机关办理行政案件时的回避决定

   • 在公安机关办理行政案件时，对于办案人民警察的回避，一般由其所属的公安机关负责人决定。特殊情况下，如果公安机关负责人是本案当事人或者当事人的近亲属，为避免利益冲突和偏见，应由同级公安机关集体讨论后，按照程序报上一级公安机关负责人决定。
   • 对于公安机关负责人的回避，则需由同级人民检察院检察委员会讨论决定。这一规定体现了更高层级的监督和制衡，以保障回避决定的公正性和客观性。

5. 行政诉讼中的回避决定

   • 在行政诉讼中，回避决定也是确保诉讼公正性和维护当事人合法权益的关键程序性事项。当院长担任审判长时，其回避由审判委员会决定；审判人员（含人民陪审员）的回避由院长决定；书记员、翻译人员、鉴定人、勘验人的回避，通常由审判长决定；对于证人、鉴定人等非审判人员，是否准许回避以及由谁来决定回避，一般由法庭根据具体情况来决定。

法律背景与建议：

• 行政回避制度的设立旨在确保行政决定的公正性和公信力，避免个人关系或其他不当因素对案件处理产生负面影响。
• 在实际操作中，如果当事人认为某人员可能存在影响案件公正处理的情形，有权向相关机关提出回避申请。相关机关应依法及时作出回避决定，并确保决定的公正性和客观性。
• 如果您在行政程序中遇到回避问题，或者对回避决定有异议，可以直接向我咨询。我会根据您的具体情况，提供专业的法律意见和帮助。