在非法经营案件中，受害人获利是否需要退回，这主要取决于获利是否属于违法所得以及案件的具体情况。以下从不同角度进行分析：

一、违法所得的处理原则

1. 违法所得的定义：违法所得是指因实施违法行为而获得的财物或利益。在非法经营案件中，如果受害人的获利是通过非法经营行为直接获得的，那么这部分获利很可能被认定为违法所得。

2. 违法所得的处理：根据相关法律法规，违法所得应当予以追缴或没收。这意味着，如果受害人的获利被认定为违法所得，那么这部分获利是需要退回的，通常是由司法机关依法进行追缴或没收。

二、获利是否属于违法所得的判断

1. 获利来源的合法性：要判断受害人的获利是否属于违法所得，首先需要考察其获利来源的合法性。如果获利是通过合法经营行为获得的，即使案件涉及非法经营，这部分获利也不应被认定为违法所得。

2. 获利与非法经营行为的关联性：如果获利与非法经营行为存在直接关联，例如通过非法销售、非法服务等方式获得的利润，那么这部分获利很可能被认定为违法所得。

三、具体案件情况的影响

1. 案件性质：非法经营案件的性质和严重程度会影响对获利是否属于违法所得的判断。例如，在严重的非法经营案件中，即使获利看似合法，也可能因与非法经营行为存在间接关联而被认定为违法所得。

2. 受害人的主观意图：受害人的主观意图也是判断获利是否属于违法所得的重要因素。如果受害人明知或应知其获利与非法经营行为有关，却仍然接受或追求这种获利，那么这部分获利更可能被认定为违法所得。

四、法律建议

1. 配合司法机关调查：在非法经营案件中，受害人应积极配合司法机关的调查工作，如实陈述获利情况，提供相关证据材料。

2. 寻求专业法律帮助：如果受害人对获利是否属于违法所得存在疑问或争议，建议寻求专业律师的帮助。律师可以根据案件具体情况和法律法规，为受害人提供准确的法律意见和辩护策略。

总结来说，在非法经营案件中，受害人的获利是否需要退回取决于获利是否属于违法所得以及案件的具体情况。如果获利被认定为违法所得，那么是需要退回的。因此，受害人在面对此类案件时，应积极配合司法机关的调查工作，并在必要时寻求专业律师的帮助。如有任何法律疑问或需要进一步的法律咨询，请直接向我提问。