公司不能以会计多算为由要求工人退回三年绩效工资。以下是对此问题的详细分析：

1. 绩效工资的性质：

   • 绩效工资是劳动者基于其工作表现、工作成果等获得的报酬，属于劳动者的合法收入。
   • 一旦绩效工资已经发放给劳动者，且劳动者没有违反任何规定或协议导致需要退回的情况，那么劳动者有权保留这笔收入。

2. 公司的权利与义务：

   • 公司作为雇主，有责任准确计算并按时支付劳动者的工资，包括绩效工资。
   • 如果公司因为会计错误多算了绩效工资，这通常是公司内部管理的问题，不应由劳动者承担后果。

3. 法律依据：

   • 根据《中华人民共和国劳动法》及相关规定，劳动者的工资是其合法收入，受法律保护。
   • 公司不能单方面要求劳动者退回已经合法获得的工资，除非有明确的法律依据或双方协议约定。

4. 特殊情况考虑：

   • 如果劳动者与公司之间存在关于绩效工资退回的特别约定（如劳动合同中的相关条款），且该约定不违反法律法规，那么公司可能有权要求劳动者退回多算的绩效工资。但这种情况较为罕见，且需要具体分析约定内容。

综上所述，公司以会计多算三年后让工人退回三年绩效工资的做法通常是不合法的。如果劳动者遇到这种情况，可以与公司进行沟通协商，必要时可以寻求法律援助或向劳动监察部门投诉。