结论：非法经营证券行为确实存在受害人，且在特定情况下，行为人需要退赔受害人的损失。以下是对这一问题的详细分析：
一、非法经营证券的受害人
非法经营证券行为，通常指的是未经国家有关主管部门批准，擅自经营证券业务，或者超越批准的范围经营证券业务的行为。这种行为往往伴随着欺诈、误导投资者等不法手段，严重扰乱了证券市场的正常秩序。
直接受害人：非法经营证券的直接受害人主要是那些被欺诈或误导的投资者。他们可能因为相信了非法经营者的虚假宣传或承诺，而投入了大量的资金，最终却遭受了经济损失。
间接受害人：除了直接受害人外，非法经营证券行为还可能对证券市场的整体稳定性和其他合法经营者的利益造成损害，从而构成间接受害人。例如，非法经营者的不正当竞争行为可能挤压合法经营者的市场份额，影响其正常经营。
二、退赔的法律依据与条件
在非法经营证券案件中，退赔受害人损失是法律对行为人的一种制裁和救济措施。其法律依据主要来源于《中华人民共和国刑法》及相关司法解释中关于非法经营罪和退赔损失的规定。
退赔的法律依据：
- 根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。
- 在非法经营证券案件中，如果行为人的行为构成了非法经营罪，并且其违法所得涉及到了受害人的损失，那么法院在判决时通常会责令行为人退赔受害人的损失。
退赔的条件：
- 行为构成非法经营罪：首先，行为人的行为必须构成非法经营罪，即未经国家有关主管部门批准，擅自经营证券业务，或者超越批准的范围经营证券业务，且情节严重。
- 存在受害人及损失：其次，必须存在受害人，并且受害人的损失与行为人的非法经营行为之间存在因果关系。
- 违法所得与损失相关：最后，行为人的违法所得必须与受害人的损失相关，即受害人的损失是由于行为人的非法经营行为所导致的。
三、退赔的实践操作与注意事项
退赔的实践操作：
- 在非法经营证券案件中，退赔通常是在法院判决后进行的。法院会根据案件的具体情况，确定行为人需要退赔的金额和方式。
- 行为人应当按照法院的判决，及时、足额地退赔受害人的损失。如果行为人拒不退赔，法院可以采取强制执行措施，如查封、扣押、冻结其财产等。
注意事项：
- 保留证据：受害人在寻求退赔时，应当保留好与非法经营行为相关的证据，如交易记录、合同、宣传资料等，以便在诉讼中证明自己的损失和与行为人的因果关系。
- 及时报案：如果受害人发现自己遭受了非法经营证券行为的侵害，应当及时向公安机关报案，以便公安机关及时立案侦查，并追究行为人的刑事责任。
- 关注判决执行：在法院判决后，受害人应当关注判决的执行情况，确保行为人按照判决退赔了自己的损失。如果行为人拒不退赔，受害人可以向法院申请强制执行。
总结与建议：非法经营证券行为确实存在受害人，且在特定情况下，行为人需要退赔受害人的损失。作为投资者，应当提高警惕，增强风险意识，避免陷入非法经营证券的陷阱。如果发现自己遭受了非法经营证券行为的侵害，应当及时保留证据、报案，并关注判决的执行情况。如果你有进一步的法律问题或需要更详细的法律建议，可以直接向我咨询。