若法院工作人员作为被告，其回避问题需分情况讨论，核心结论如下：

1. 法院工作人员作为普通民事、行政案件被告时
   根据《民事诉讼法》第47条及《行政诉讼法》第55条，回避制度仅适用于审判人员、书记员、翻译人员、鉴定人等与案件审理直接相关的人员。若法院工作人员仅作为普通民事主体（如借款纠纷、合同纠纷等）或行政相对人被起诉，其身份与案件审理无直接关联，不适用回避制度。此时案件由其他无利害关系的法院或法官依法审理即可。

2. 法院工作人员作为刑事案件被告时
   若法院工作人员因涉嫌犯罪被提起公诉，其身份同样不直接触发回避。但需注意：

   • 审判阶段：若该工作人员所在法院的其他法官参与审理，需审查是否存在《刑事诉讼法》第29条规定的回避情形（如与案件有利害关系、曾参与前期调查等）。若存在，相关审判人员应主动回避或由当事人申请回避。
     
   • 管辖调整：为避免公众对司法公正的合理怀疑，实践中可能通过指定管辖（如由上级法院指定其他法院审理）或异地审理的方式，从程序上保障审理的独立性。

3. 法院工作人员作为案件审理相关人员时的回避
   若法院工作人员同时担任审判人员、书记员等职务，且其与案件存在利害关系（如系当事人近亲属、与案件有利害关系等），则必须依法回避。此时需由院长决定其是否回避，当事人也可直接申请。

实务建议：

• 若您作为当事人认为法院工作人员的参与可能影响公正审理，可依据《民事诉讼法》第48条或《刑事诉讼法》第31条，在知道回避事由后10日内向法院提出书面回避申请，并说明具体理由。
  
• 法院需在3日内作出决定，若对决定不服，可申请复议一次。
  

如有进一步细节（如案件类型、回避事由等），可直接向我咨询，我将结合具体情形为您分析。