非法经营案件中的退赃退赔是否会给客户（被害人），需根据财物性质和法律规定分情况处理，具体结论及分析如下：

1. 若退赃财物属于被害人财产，需直接退还客户

• 法律依据与逻辑：根据《刑法》第六十四条及司法实践，若犯罪人通过非法经营行为直接获取了被害人的财物（如骗取资金、货物等），这部分财物属于被害人的合法财产，司法机关在追缴后应优先退还被害人，以弥补其经济损失。
• 典型案例：例如，犯罪人以虚假宣传方式销售非法商品，导致客户支付货款但未收到合格商品，此时退赃需将货款返还给客户。
• 操作流程：司法机关会通过调查取证（如转账记录、合同等）确认财物归属，再按程序返还被害人。

2. 若退赃财物属于违法所得，需上缴国库

• 法律依据与逻辑：若非法经营产生的收益（如未涉及具体被害人的利润、手续费等）无法明确归属特定被害人，或属于“违法所得”性质，则根据《刑法》第六十四条，司法机关追缴后应上缴国库，而非退还个人。
• 典型案例：犯罪人通过非法经营（如未经许可销售药品）获取的纯利润，无直接被害人对应，此时违法所得需上缴国家。
• 操作流程：司法机关会通过审计、鉴定等方式确认违法所得金额，最终由法院判决或执行机关上缴财政。

3. 实务中的关键判断标准

• 财物性质甄别：司法机关会重点审查财物来源（如是否来自特定被害人、是否涉及欺诈等），以此区分“被害人财产”与“违法所得”。
• 被害人参与程序：若存在被害人，司法机关会通知其申报损失、提交证据，并在退赃时优先保障其权益。
• 例外情形：若被害人无法联系或放弃权利，其应得财物可能按比例上缴国库，但此类情况需严格依法处理。

4. 对客户的建议

• 若您是被害人：保留与犯罪人交易的证据（如合同、付款记录、沟通记录等），及时向司法机关申报损失，主张退还财物。
• 若您涉及退赃义务：需配合司法机关调查，如实说明财物来源，避免因隐瞒导致更严重的法律后果（如妨害作证罪）。
• 争议解决：若对退赃对象有异议，可通过律师提出书面意见，或申请司法机关复核财物性质。

总结：非法经营案件的退赃退赔并非“一刀切”上缴国家，而是根据财物是否属于被害人财产进行区分。若您是被害人，有权主张退还；若财物属于违法所得，则需上缴国库。具体处理需结合案情和证据，建议根据自身情况及时咨询专业律师。