在走私案件中，海关要求退赔处罚的时机主要取决于案件的具体情况及法律程序进展，通常会在确定走私行为成立且需追缴违法所得或罚款时提出退赔要求。具体分析如下：
行政处罚阶段：
- 初步调查与认定：海关在初步调查阶段，若发现存在走私嫌疑，会进行深入调查，收集证据以确认走私行为是否成立。
- 处罚决定作出：一旦确认走私行为成立，海关会根据《中华人民共和国海关法》、《中华人民共和国海关行政处罚实施条例》等相关法律法规，作出行政处罚决定，其中可能包括追缴走私货物、物品的等值价款（即退赔）以及罚款等。
- 退赔要求提出：在行政处罚决定中，海关会明确要求走私者退赔违法所得，包括走私货物、物品的等值价款以及因走私行为产生的其他非法收益。
刑事诉讼阶段（如涉及犯罪）：
- 刑事立案与侦查：若走私行为涉嫌犯罪，海关会移交至公安机关进行刑事立案侦查。
- 提起公诉与审判：侦查终结后，公安机关会将案件移送至检察机关审查起诉，检察机关认为犯罪事实清楚、证据确实充分的，会向人民法院提起公诉。
- 退赔判决与执行：在刑事诉讼过程中，人民法院会根据案件事实和法律规定，作出判决，其中可能包括责令走私者退赔违法所得。判决生效后，海关或相关执行机关会负责执行退赔判决。
特殊情况下的退赔要求：
- 自愿退赔：在海关调查过程中，若走私者自愿承认走私行为并主动提出退赔，海关可能会根据其态度及退赔情况，依法从轻或减轻处罚。
- 协商退赔：在某些情况下，海关可能与走私者进行协商，就退赔金额、方式等达成一致，并据此作出相应的行政处罚决定。