诈骗集团的违法所得，在符合法律规定的情况下，是会退还给受害者的。以下是对这一问题的详细分析：
一、法律依据与原则
根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这一条款明确规定了诈骗所得财物的处理原则，即应当退还给被害人，以恢复其财产原状，保障其合法权益。
二、退赔方式与程序
公安机关处理：
- 在诈骗案件终结后，公安机关会根据具体情况处分冻结、查封、扣押的财产，并依法返还给受害人。这是公安机关在打击诈骗犯罪过程中的一项重要职责，也是确保被害人权益得到有效保障的关键环节。
诉讼途径救济：
- 如果诈骗人未主动退赔，受害人可以通过提起刑事附带民事诉讼或在刑事判决书生效后单独提起民事诉讼来要求赔偿。这为受害者提供了额外的法律救济途径，确保其权益在法律框架内得到最大程度的保护。
主动退赃情节：
- 诈骗人主动退赃是其认罪、悔罪的一种表现，有可能影响其刑事责任的承担。在量刑时，法院可能会酌情从轻处罚积极退赔的犯罪分子。这一规定旨在鼓励犯罪分子主动退赃，减轻社会危害，同时也体现了法律对认罪悔罪态度的认可。
三、特殊情况处理
查找不到赃款：
- 如果诈骗所得财物无法查找或已被挥霍，则应当上缴国库。但在某些特定情况下，如对方明知是诈骗财物而收取，或无偿、以明显低于市场价格取得，或取得诈骗财物系源于非法债务或违法犯罪活动时，即便财物已被转移，仍会被依法追缴。这一规定确保了即使赃款难以查找，法律也不会放任犯罪分子逍遥法外。
退赃与判刑关系：
- 诈骗案的犯罪嫌疑人、被告人即使把非法占有的金额返还给受害者，也依然有被判刑的可能。但如果在一审宣判前全部退赃、退赔，且行为人认罪、悔罪的，可以不起诉或者免予刑事处罚。这一规定既体现了法律的严肃性，也给予了犯罪分子改过自新的机会。
四、实际操作中的注意事项
- 证据收集：在追缴诈骗所得财物的过程中，证据的收集至关重要。公安机关需要依法收集、固定相关证据，以确保追缴工作的顺利进行。
- 法律程序：追缴诈骗所得财物必须遵循严格的法律程序。公安机关在处分冻结、查封、扣押的财产时，必须依法进行，确保程序的合法性和正当性。
- 被害人权益保护：在整个追缴过程中，应始终将被害人权益保护放在首位。公安机关和法院应确保被害人的合法权益得到有效保障，避免其因追缴工作而受到二次伤害。
总结来看，诈骗集团的违法所得在符合法律规定的情况下是会退还给受害者的。这一原则不仅体现了法律对被害人权益的保障，也彰显了法律对违法犯罪行为的严厉惩处。如果您或您身边的人遭遇了诈骗犯罪，请及时向公安机关报案，并寻求专业律师的帮助，以确保您的权益得到有效维护。