结论：在此情况下，仲裁员并不必然需要回避，但具体是否应回避，需结合实际情况及相关法律规定进行综合判断。
分析：
回避的法定情形：
- 根据《中华人民共和国劳动争议调解仲裁法》第三十三条的规定，仲裁员有下列情形之一，应当回避，当事人也有权以口头或者书面方式提出回避申请：
- 是本案当事人或者当事人、代理人的近亲属的；
- 与本案有利害关系的；
- 与本案当事人、代理人有其他关系，可能影响公正裁决的；
- 私自会见当事人、代理人，或者接受当事人、代理人的请客送礼的。
当前情况分析：
- 在您描述的情况中，当事人未表明身份去找仲裁员，仲裁员会面未驱离，并说了案件程序事项。这一行为本身并不直接构成上述法定回避情形中的任何一项。
- 关键在于，仲裁员与当事人的会面是否影响了其公正裁决的能力，以及是否存在其他可能影响公正裁决的关系或行为。如果仲裁员在会面中并未接受任何不当利益，也未表现出对任何一方的偏袒，且会面内容仅限于案件程序事项，那么这通常不足以构成回避的理由。
判断标准：
- 判断仲裁员是否应回避，应基于其是否可能因某种关系或行为而影响公正裁决。这需要综合考虑会面的性质、内容、仲裁员的态度以及是否存在其他潜在的利益冲突等因素。
建议行动：
- 如果当事人认为仲裁员的行为可能影响了公正裁决，可以向仲裁委员会提出回避申请，并说明具体理由和事实依据。
- 仲裁委员会将根据当事人的申请和实际情况，对仲裁员是否应回避进行审查并作出决定。
后续思考：
- 在劳动争议仲裁过程中，保持仲裁员的公正性和独立性至关重要。因此，仲裁员应严格遵守职业道德和法律规定，避免与当事人进行不当接触或接受不当利益。
- 当事人也应积极维护自己的合法权益，如果发现仲裁员存在可能影响公正裁决的行为或关系，应及时提出回避申请或采取其他合法措施。
如有任何进一步疑问或需要具体法律建议，请直接向我咨询，我会根据您的具体情况提供详细的法律分析和建议。