破产管理人的工作人员代理破产企业案件，在存在特定利害关系时，确实需要回避。这一结论主要基于《中华人民共和国企业破产法》及相关司法解释中关于破产管理人回避制度的规定。以下是对此问题的详细分析：

一、破产管理人回避的法律依据

根据《中华人民共和国企业破产法》第二十四条第三款的规定：“与本案有利害关系的，不得担任管理人。”这一条款直接明确了破产管理人在存在利害关系时应当回避的原则。此外，相关司法解释也进一步细化了回避的具体情形。

二、需要回避的具体情形

1. 与债务人、债权人有未了结的债权债务关系：

   • 如果破产管理人的工作人员与破产企业（债务人）或债权人之间存在尚未解决的债权债务纠纷，这可能会影响其公正执行职务，因此应当回避。

2. 在人民法院受理破产申请前三年内，曾为债务人提供相对固定的中介服务：

   • 这包括但不限于法律服务、财务咨询等。如果管理人在近三年内为债务人提供了此类服务，可能会因先前的合作关系而影响其独立性和公正性，故应回避。

3. 现在是或者在人民法院受理破产申请前三年内曾经是债务人、债权人的控股股东或者实际控制人：

   • 控股股东或实际控制人对债务人或债权人的经营决策有重大影响。如果管理人处于这种地位，可能难以保持中立，因此应当回避。

4. 现在担任或者在人民法院受理破产申请前三年内曾经担任债务人、债权人的财务顾问、法律顾问：

   • 这些角色通常涉及对债务人或债权人的深入了解和内部信息。如果管理人曾担任这些角色，可能会因先前的了解而偏袒某一方，故应回避。

5. 人民法院认为可能影响其忠实履行管理人职责的其他情形：

   • 这是一个兜底条款，涵盖了其他可能影响管理人公正执行职务的情形。例如，管理人与债务人或债权人存在亲属关系、管理人自身存在重大利益冲突等。

三、回避的程序与后果

• 主动申报：破产管理人在接受指定时，应主动申报是否存在上述回避情形。这是管理人诚信和职业操守的体现。
• 审查决定：人民法院在指定管理人时，会对管理人的资格进行审查，并决定是否存在回避情形。如果发现管理人存在回避情形而未主动申报的，人民法院可以依职权更换管理人。
• 法律后果：如果管理人未按照法律规定回避，可能会面临法律责任，包括但不限于被撤销管理人资格、承担因此给债权人或债务人造成的损失等。

四、实际应用中的建议

在实际操作中，破产管理人的工作人员应当严格遵守回避制度的规定。如果发现自己存在应当回避的情形，应当及时向人民法院申报并申请回避。同时，破产企业、债权人等利害关系人也应当密切关注管理人的资格和背景，及时提出并处理回避申请，以确保破产程序的公正性和合法性。

如有任何关于破产管理人回避制度或其他公司法务问题的疑问，欢迎直接向我咨询。我将以专业的知识和丰富的经验，为您提供全面、准确的法律解答。