在职务犯罪案件中，公务员退赃一般是退给国家，而非行贿的人。以下从不同角度为你详细分析：

从法律规定角度

根据我国相关法律，公务员利用职务上的便利，索取他人财物或者非法收受他人财物，为他人谋取利益的行为构成受贿罪。当公务员被认定有受贿行为后，其违法所得的一切财物，应当予以追缴或者责令退赔。这里的追缴和退赔，其对象是国家，因为这些财物属于国家财产或者公共财产的范畴，是公务员通过违法犯罪手段获取的，损害了国家的利益和公共秩序。例如，某公务员收受了企业主给予的巨额贿赂，用于个人消费和投资，在案件侦破后，该公务员需要将收受的贿赂款项以及因贿赂款项产生的收益，如投资获利等，全部退还给国家相关部门，通常是司法机关指定的账户。

从行贿人角度

行贿人向公务员行贿的行为本身也是违法的，构成行贿罪。行贿人给予公务员财物的目的是为了谋取不正当利益，其财物一旦给出，就失去了合法占有的依据。即使公务员退赃，也不能将财物退给行贿人。因为如果将财物退给行贿人，相当于承认了行贿人行贿行为的“合理性”，这不利于打击行贿犯罪，也不符合法律的精神和目的。而且，行贿人因为行贿行为所获取的不正当利益，同样应当被追缴。比如，企业主为了获得项目承包权而向公务员行贿，在公务员退赃时，不能将贿赂款项退给企业主，同时企业主因行贿获得的项目承包权等不正当利益也应当被依法纠正和追缴。

从司法实践角度

在司法实践中，当公务员被查处受贿犯罪后，司法机关会依法开展追赃工作。一般会要求公务员主动退还违法所得，如果公务员不主动退还，司法机关会通过查封、扣押、冻结等措施，追缴其违法所得。追缴到的财物会依法上缴国库，作为国家财产进行管理。这一过程体现了国家对职务犯罪的严厉打击和对公共财产的保护。

如果你在职务犯罪辩护方面还有其他疑问，或者涉及到具体的案件情况，都可以直接向我咨询，我会结合你的具体情况为你提供专业的法律分析和建议。