在刑事案件中，非法所得的退还对象并非固定为公安或法院，而是需根据案件的具体阶段和性质来确定。以下是对这一问题的详细分析：

一、侦查阶段

在刑事案件的侦查阶段，公安机关负责收集证据、查明犯罪事实，并追缴犯罪所得。此时，如果非法所得已经被公安机关查获或控制，通常会由公安机关进行暂扣或冻结，以便后续处理。但这一阶段并不意味着非法所得就直接退还给公安机关，而是暂由其保管，待案件进入下一阶段后再进行进一步处理。

二、审查起诉与审判阶段

1. 审查起诉阶段：当案件移送至检察机关进行审查起诉时，检察机关会对案件进行全面审查，包括非法所得的追缴情况。如果检察机关认为需要继续追缴非法所得，或者对公安机关的追缴行为有异议，会进行相应的处理。但这一阶段，非法所得仍然处于暂扣或冻结状态，并未直接退还给任何一方。

2. 审判阶段：在案件进入审判阶段后，法院会根据审理查明的事实和法律规定，对非法所得的退还问题作出判决。如果法院判决要求退还非法所得，通常会明确退还的对象和方式。在大多数情况下，非法所得会退还给被害人或其合法继承人，以弥补其因犯罪行为所遭受的损失。如果非法所得无法直接退还给被害人（如被害人已死亡且无合法继承人），或者退还后仍有剩余，法院可能会根据相关规定进行处理，如上缴国库等。

三、特殊情况下的处理

1. 非法所得已被挥霍或无法追回：如果非法所得已经被犯罪嫌疑人挥霍或无法追回，法院在判决时可能会要求犯罪嫌疑人进行赔偿或承担其他法律责任，以弥补被害人的损失。

2. 非法所得涉及多个被害人：如果非法所得涉及多个被害人，法院在判决时会根据各被害人的损失情况，按照比例或其他公平原则进行分配。

四、法律建议

1. 配合调查：如果您或您身边的人涉及刑事案件，并涉及非法所得的退还问题，建议积极配合公安机关、检察机关和法院的调查和审判工作，如实提供相关信息和证据。

2. 咨询专业律师：由于刑事案件涉及复杂的法律程序和法律规定，建议在处理此类问题时咨询专业律师的意见。作为专注于刑事辩护、经济犯罪、房产纠纷领域的律师，我可以为您提供专业的法律咨询和辩护服务。

3. 关注判决结果：在案件审理过程中，密切关注法院的判决结果，特别是关于非法所得的退还部分。如果对判决结果有异议，可以在法定期限内提出上诉或申诉。

总之，刑事案件中非法所得的退还对象并非固定为公安或法院，而是需根据案件的具体阶段和性质来确定。如果您或您身边的人涉及此类问题，建议及时咨询专业律师的意见，以便更好地维护自己的合法权益。