走私罪违法所得应当退给作出没收决定的机关，通常是海关或公安机关，最终上缴国库。以下是对此问题的详细分析：

1. 违法所得的处理原则：

   • 根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。
   • 在走私罪案件中，违法所得通常指的是走私行为人通过走私活动非法获得的财物，包括但不限于走私的货物、物品以及因走私行为而获得的利润等。

2. 违法所得的退还机关：

   • 在走私罪案件的侦查、起诉和审判过程中，海关或公安机关在查获走私行为后，会对违法所得进行扣押或冻结。
   • 经过司法程序确认违法所得后，海关或公安机关会作出没收决定，并将违法所得上缴国库。如果案件进入审判阶段，法院也会在判决中明确违法所得的处理方式，通常也是上缴国库。
   • 特殊情况：如果走私行为涉及多个机关（如海关、公安机关、税务机关等）的联合执法，违法所得的退还可能需要根据各机关的职责和协作机制来确定。但无论如何，最终的处理结果都是上缴国库。

3. 实际操作中的注意事项：

   • 对于走私行为人而言，如果其愿意主动退缴违法所得，可以在案件侦查、起诉或审判阶段向相关机关提出申请，并按照规定程序进行退缴。
   • 退缴违法所得可以作为量刑时的从轻情节考虑，但具体是否从轻以及从轻的幅度需要根据案件的具体情况和法律规定来综合判断。
   • 如果走私行为人拒不退缴违法所得，相关机关将依法进行追缴，并可能对其处以更严厉的刑罚。

4. 法律后果：

   • 如果走私行为人未按照规定退缴违法所得，除了可能面临更严厉的刑罚外，还可能面临行政处罚（如罚款、没收违法所得等）和信用惩戒（如列入失信被执行人名单等）。
   • 对于协助走私行为人隐匿、转移违法所得的人员，也可能面临相应的法律责任。

总结与建议：

• 走私罪违法所得应当退给作出没收决定的机关（通常是海关或公安机关），并最终上缴国库。
• 走私行为人应主动退缴违法所得，以争取从轻处理。
• 如果对走私罪违法所得的处理有疑问或需要进一步的法律帮助，可以直接向我咨询。