公职人员违法所得，除退还所有人外，还需依法予以没收、追缴或上缴国库，并可能面临行政处分或刑事处罚。具体分析如下：

1. 没收与追缴
   根据《中华人民共和国刑法》第六十四条，违法所得应依法予以没收或追缴。若违法所得已退还所有人，但属于应没收范围（如赃款赃物），司法机关仍可依法追缴并上缴国库。例如，公职人员通过受贿获取的财物，即使已退还行贿人，仍需追缴并没收。

2. 上缴国库
   若违法所得无法直接退还所有人（如财物已灭失或无法找到权利人），或退还后剩余部分属于违法所得，应依法上缴国库。例如，公职人员利用职务便利套取的公款，即使部分退还单位，剩余部分仍需上缴。

3. 行政处分
   根据《中华人民共和国公职人员政务处分法》，公职人员违法所得可能伴随违纪行为，需依法给予警告、记过、降级、撤职或开除等处分。例如，公职人员违规从事营利活动获取的收益，除没收外，还可能面临撤职处分。

4. 刑事处罚
   若违法所得涉及犯罪（如贪污、受贿、挪用公款等），公职人员需承担刑事责任，违法所得作为犯罪所得依法处理。例如，贪污罪中，违法所得需追缴并返还被害单位或个人，不足部分由犯罪人退赔，同时可能面临有期徒刑或罚金等刑罚。

总结：公职人员违法所得的处理需结合违法性质、财物状态及法律后果综合判断，除退还所有人外，可能涉及没收、追缴、上缴国库、行政处分或刑事处罚。具体案件需根据证据和法律程序认定，如有疑问可直接向我咨询。