贪污罪违法所得的处理方式，主要是追缴后上交国库，而非直接退还给被害单位。以下从不同角度对此问题进行详细分析：

一、法律规定的角度

根据《中华人民共和国刑法》第六十四条的规定：“犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。” 在贪污罪中，违法所得通常指的是国家工作人员利用职务上的便利，侵吞、窃取、骗取或者以其他手段非法占有的公共财物。这些财物在追缴后，应上缴国库，因为它们属于国家财产，而非特定被害单位的财产。

二、贪污罪性质的特殊性

贪污罪侵犯的客体是复杂客体，既侵犯了公共财物的所有权，又侵犯了国家机关的正常活动和声誉。由于贪污罪主要涉及的是公共财物，即国家财产，因此，在追缴违法所得时，这些财物应被视为国家财产的一部分，上缴国库。这与盗窃、诈骗等侵犯私人财产权的犯罪有所不同，在后者的案件中，违法所得可能会直接退还给被害单位或个人。

三、实际操作的角度

在司法实践中，对于贪污罪的违法所得，一旦查实，司法机关会依法进行追缴。追缴的财物包括现金、实物以及其他形式的财产性利益。追缴后，这些财物会按照法定程序上缴国库。如果贪污行为导致特定单位或个人遭受了直接的经济损失，且这些损失能够明确计算并证明与贪污行为有直接因果关系，那么在追缴违法所得后，可能会通过其他途径（如民事赔偿）对受损单位或个人进行补偿，但这并不改变违法所得本身应上缴国库的原则。

四、特殊情况的处理

虽然一般情况下贪污罪的违法所得应上缴国库，但也存在一些特殊情况。例如，如果贪污的财物原本就属于某个特定单位或个人的合法财产，且该财产在贪污过程中被明确识别并追回，那么在这种情况下，司法机关可能会考虑将追回的财物直接返还给原所有者。然而，这种情况相对罕见，且需要严格的证据支持和法律程序。

总结与建议：

贪污罪违法所得的处理方式主要是追缴后上交国库。这是基于法律规定、贪污罪性质的特殊性以及实际操作的需要。如果您或您所在的单位涉及贪污罪案件，或者对贪污罪违法所得的处理有疑问，建议直接向我咨询，我将根据您的具体情况提供专业的法律意见。