在刑事案件中，退赃通常应直接退还给公安机关，但具体退还对象需根据案件所处的阶段和性质来确定。以下是从不同角度对这一问题的详细分析：
一、法律依据与侦查阶段处理
法律依据：
- 根据《中华人民共和国刑事诉讼法》第一百一十五条，公安机关对已经立案的刑事案件，有义务进行侦查，收集、调取犯罪嫌疑人有罪或者无罪、罪轻或者罪重的证据材料，这其中包括对赃款的追缴和处理。
- 同时，《中华人民共和国刑法》第六十四条规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。
侦查阶段处理流程：
- 在侦查阶段，公安机关全面负责调查案件情况，包括追缴赃款。若犯罪嫌疑人或其家属主动退赃，应将赃款交给负责案件的公安机关。
- 公安机关会依法开具收据等凭证，并采取扣押、冻结等措施妥善保管这些赃款，随案移送至人民检察院及法院，最终确保赃款得到依法处理。
二、案件移送后的处理
移送给检察院：
- 公安机关侦查终结后，会将案件连同赃款等相关证据材料一并移送人民检察院审查起诉。
- 若在审查起诉阶段犯罪嫌疑人决定退赃，可通过检察院协调公安机关处理具体事宜，检察院会按照规定程序办理，如要求嫌疑人将赃款退至检察院指定账户，并在作出不起诉决定后，依法对赃款进行处理，如退还给受害者或上缴国库。
移送给法院：
- 案件进入审判阶段后，若仍有未处理的退赃事宜，法院会根据具体情况进行处理。
- 通常情况下，法院会要求被告人将赃款退至法院指定账户，由法院负责退还给受害者或上缴国库。在判决中，法院也会明确赃款的退还方式和对象。
三、特殊情况下的退还规定
共同犯罪：
- 在共同犯罪案件中，各被告人应根据各自的责任大小分担赃款的退还责任。
- 若部分被告人已退还全部赃款，其他被告人仍需承担其应承担的退还责任。
单位犯罪：
- 单位犯罪的赃款退还由单位承担主要责任。
- 若单位无力退还，可追究相关责任人员的个人责任。
四、实际操作建议
了解案件阶段：
- 在决定退赃前，应首先了解案件所处的阶段和具体承办机关，这有助于确定退赃的正确对象和流程。
及时退赃：
- 想要退还赃款应尽早与办案机关联系，了解相关程序和要求。在侦查阶段就表达退赃意愿并付诸行动，有助于案件的顺利处理和自身权益的保护。
赃款状态确认：
- 并非所有情况下都能退还赃款。如果赃款已经被挥霍或用于其他非法活动，则无法退还。因此，在决定退赃前，应确认赃款的状态和可用性。
配合办案机关：
- 无论退赃给公安还是检察院，都应积极配合办案机关的工作。如实说明涉案财物的来源和去向，提供相关证据材料，以便办案机关能够准确认定退赃事实和金额。
总结来说，退赃是刑事案件中的一项重要法律行为，应遵循相关法律法规和程序要求。通过及时与办案机关沟通并了解相关程序，可以确保赃款得到妥善处理，从而维护法律的公正性和权威性。如果您在退赃过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。