结论前置：居家养老考核人员如果在被考核单位工作过，是否需要回避不能一概而论，需分情况讨论。

1. 若存在可能影响公正考核的利益关系：

   • 根据《公务员法》及相关考核规定，如果考核人员与被考核单位存在可能影响公正考核的利益关系，如曾经在该单位担任过重要职务、与该单位人员有密切的私人关系等，那么应当回避。这是为了确保考核的公正性和客观性，避免因个人情感或利益关系而影响考核结果。
   • 在居家养老服务的考核中，如果考核人员曾在被考核的居家养老服务机构工作过，且在该机构担任过管理、监督等关键职务，或者与该机构的人员有密切的往来，那么其考核结果可能会受到质疑。因此，在这种情况下，考核人员应当主动申请回避，或者由考核组织方决定其是否回避。

2. 若不存在可能影响公正考核的利益关系：

   • 如果考核人员虽然曾在被考核单位工作过，但已经离开该单位较长时间，且与该单位的人员没有密切的往来，也不存在其他可能影响公正考核的利益关系，那么其可能不需要回避。
   • 在这种情况下，考核人员的专业知识和经验可能反而有助于更准确地评估被考核单位的服务质量和效果。当然，这也需要考核人员保持客观公正的态度，避免因个人情感或偏见而影响考核结果。

额外建议：

• 为了确保考核的公正性和客观性，考核组织方在制定考核方案时，应当明确回避的情形和程序，要求考核人员如实申报与被考核单位的关系，并根据申报情况决定是否需要回避。
• 同时，考核组织方也可以考虑采用多种考核方式相结合的方法，如现场考察、问卷调查、数据分析等，以更全面地了解被考核单位的服务质量和效果，减少因个别考核人员的主观因素而影响考核结果的可能性。

如有其他法律疑问，欢迎直接向我咨询。