针对非法吸收公众存款罪的被告人没有退还受害人款项的情况，受害人可以通过以下途径来维护自己的权益：
通过公安机关追讨：
- 在公安机关调查非法吸收公众存款案件的过程中，如果成功暂扣了涉案赃款，那么这些款项可以直接退还给受害人。公安机关在办理此类案件时，会依法对涉案财物进行查封、扣押、冻结，并在案件侦破后，按照法定程序将赃款退还给受害人。
- 法律依据：根据《公安机关办理刑事案件程序规定》及相关法律法规，公安机关在侦查过程中有权对涉案财物采取查封、扣押、冻结等措施，并在案件终结后依法处理。
通过法院追讨：
- 如果在刑事案件审理完毕后，经法院裁定，可以责令被告人退赔受害人损失。法院在审理非法吸收公众存款案件时，会依法判决被告人承担相应的刑事责任，并责令其退赔受害人的经济损失。
- 具体操作：受害人可以在刑事案件审理过程中，向法院提出附带民事诉讼，要求被告人赔偿其经济损失。法院在审理附带民事诉讼时，会依法判决被告人承担赔偿责任。
- 法律依据：根据《中华人民共和国刑事诉讼法》及相关司法解释，受害人可以在刑事诉讼过程中提起附带民事诉讼，要求被告人赔偿因犯罪行为造成的物质损失。
提起民事诉讼：
- 如果公安机关尚未扣押到任何赃款，或者扣押的赃款不足以弥补受害人的全部损失，受害人可以向法院提起民事诉讼，要求被告人或其他相关责任人归还其存款权益。
- 具体操作：受害人需要准备相关证据材料，如投资合同、转账记录、聊天记录等，以证明其与被告人之间的借贷关系及被告人的违约行为。然后向有管辖权的法院提起民事诉讼，要求被告人承担赔偿责任。
- 法律依据：根据《中华人民共和国民法典》及相关法律法规，受害人因非法吸收公众存款行为遭受经济损失的，有权向法院提起民事诉讼，要求赔偿损失。
在追讨过程中，受害人需要注意以下几点：
- 及时报案：一旦发现非法吸收公众存款的行为，受害人应立即向公安机关报案，以便公安机关及时介入调查。
- 保留证据：受害人应妥善保管与投资相关的所有证据材料，如投资合同、转账记录、聊天记录等，以便在追讨过程中提供证明。
- 关注案件进展：受害人应积极关注案件的进展情况，及时与公安机关、法院等部门沟通联系，了解案件的处理结果。
- 合法维权：受害人应通过合法途径维护自己的权益，避免采取过激行为或违法手段。
最后，需要强调的是，非法吸收公众存款罪不仅违反了国家金融管理法规，而且直接损害了公众的财产权益。因此，在打击此类犯罪的同时，也应加强对投资者的教育引导，提高他们的风险防范意识。如果您在此过程中遇到任何法律问题或需要进一步的法律帮助，请直接向我咨询。