在行政处罚案卷中，申请回避的决定主体根据被申请回避人员的身份不同而有所区别。具体来说：

1. 行政首长（如部门负责人）的回避：

   • 决定主体：由上一级行政机关决定。
   • 法律依据：根据行政诉讼法及相关司法解释的原则，当行政首长与案件有利害关系或其他可能影响公正处理的关系时，其回避应由上一级行政机关来决定，以确保公正性。

2. 执法人员及其他相关人员的回避：

   • 决定主体：由行政首长决定。
   • 具体情况：在行政处罚过程中，如果执法人员与当事人有直接利害关系，或者存在其他可能影响公正处理的关系，那么这些执法人员的回避应由行政首长来决定。这包括但不限于调查人员、审查人员等。
   • 例外情况：对于书记员、翻译人员、鉴定人、勘验人等其他人员的回避，通常由审判长（在行政处罚中可类比为负责案件审查或决定的主要官员）决定。不过，在行政处罚的语境下，这一角色可能由行政首长或其指定的负责人来担任。

回避制度的目的与重要性：

• 回避制度是为了保证行政处罚案件能够得到客观、公正的调查和处理。当执法人员或相关人员与案件存在利害关系时，他们的参与可能会影响案件的公正性，因此需要通过回避制度来排除这种影响。

申请回避的流程：

• 当事人或其代理人认为相关人员与案件有利害关系或其他可能影响公正处理的关系时，可以向行政机关提出回避申请。
• 行政机关收到回避申请后，会进行审查，并根据法律规定和实际情况作出是否回避的决定。
• 一旦作出回避决定，行政机关会及时通知申请人和其他相关人员。

建议与注意事项：

• 如果您在行政处罚过程中遇到需要申请回避的情况，建议及时向行政机关提出申请，并说明理由。
• 同时，您也有权对回避决定提出复议申请，如果对决定不服的话。
• 在整个过程中，保持与行政机关的沟通，确保您的权益得到保障。

如有任何进一步的问题或需要更具体的法律建议，请随时向我咨询。