在刑事案件中，回避制度是一项核心的程序性规定，它对于确保司法公正、保护当事人合法权益具有至关重要的作用。关于哪些人员不适用回避，实际上，我们更常讨论的是哪些人员适用回避，因为回避制度本身是为了排除那些可能因个人因素影响案件公正处理的人员。不过，从另一个角度理解您的问题，即“哪些人员不会因特定关系或因素而被要求回避”，这通常指的是那些与案件无直接利害关系，且其参与不会影响案件公正处理的人员。但更直接且准确的回答是，我们先明确哪些人员适用回避，进而反推出不适用回避的情形（即非上述适用回避的人员类别）。
适用回避制度的人员主要包括：
审判人员：
- 包括各级人民法院的院长、副院长、审判委员会委员、庭长、副庭长、审判员、助理审判员以及人民陪审员。
- 当他们与案件有利害关系，如为本案当事人或当事人的近亲属，或存在其他可能影响公正审判的关系时，应当回避。
检察人员：
- 涵盖各级人民检察院的检察官、检察委员会委员、助理检察官、书记员、司法行政人员、司法警察等参与案件侦查、起诉的工作人员。
- 若他们与案件有利害关系，或与案件当事人有特殊关系可能影响公正处理时，应回避。
侦查人员：
- 包括负责案件侦查工作的公安人员、国家安全机关工作人员以及检察院自侦案件的侦查人员。
- 如他们与案件有直接牵连，或其亲属与案件有利害关系，可能导致侦查不公时，不得参与该案件的侦查工作。
书记员：
- 在侦查、起诉、审判阶段担任记录工作的人员。
- 若他们与案件存在特定关系，可能干扰诉讼程序的公正进行，也应回避。
翻译人员和鉴定人：
- 翻译人员若与案件或案件当事人有利害关系，可能影响翻译内容的客观准确性，应回避。
- 鉴定人若与案件存在利害关系，可能影响鉴定意见的公正性和客观性，同样应回避。
不适用回避制度的人员（即非上述类别）：
- 简而言之，不适用回避制度的人员是那些与案件无直接利害关系，且其参与案件处理不会因个人因素（如偏见、利益冲突等）影响案件公正性的人员。例如，不直接参与案件审理、侦查、起诉等工作的法院或检察院的行政人员、后勤人员等，他们通常不会因与案件的关系而被要求回避。
回避制度的目的与意义：
- 回避制度的核心目的是确保司法公正，通过排除可能存在偏见、利益冲突或其他不当因素的诉讼参与人，保障案件得到公正处理。
- 它也是维护司法独立、保护当事人权益的重要手段，确保当事人在诉讼过程中受到公平对待。
实际操作中的回避：
- 在实际操作中，诉讼参与人若意识到自己存在需要回避的情形，应主动提出回避请求（自行回避）。
- 同时，诉讼参与人也有权向相关机关提出申请，要求其他存在需要回避情形的诉讼参与人回避（申请回避）。
综上所述，不适用回避制度的人员主要是那些与案件无直接利害关系，且其参与不会影响案件公正处理的人员。而回避制度的严格执行，是确保刑事诉讼公正、公平和公开的重要保障。