1. 结论：非吸案退款给受害者的款项，在一般情况下，并不算作遗产。

2. 详细分析：

   • 遗产的定义：根据《中华人民共和国民法典》的相关规定，遗产是指自然人死亡时遗留的个人合法财产。这包括但不限于收入、房屋、储蓄、生活用品、林木、牲畜和家禽、文物、图书资料、法律允许公民所有的生产资料、著作权、专利权中的财产权利以及其他合法财产。
   • 非吸案退款性质：非吸案（非法吸收公众存款案）退款给受害者的款项，本质上是受害者因犯罪行为而遭受的经济损失的补偿。这些款项并非受害者生前合法积累的财产，而是因其遭受犯罪侵害后，通过法律程序追回的损失。
   • 退款与遗产的区别：遗产是自然人死亡时遗留的财产，具有生前合法积累和死后遗留的特性。而非吸案退款则是针对受害者因犯罪行为而遭受的损失进行的补偿，其性质与遗产截然不同。退款发生在受害者生前（或在其死亡后通过法律程序追回，但款项本身并非受害者生前财产），且其目的是为了弥补受害者的经济损失，而非作为其遗产进行分配。

3. 特殊情况考虑：

   • 如果受害者在生前已经明确表示将非吸案退款作为其遗产的一部分进行分配，并且这种表示符合法律规定（如通过遗嘱等方式），那么在这种情况下，退款可能被视为遗产的一部分。但这种情况非常罕见，且需要严格的法律程序和证据支持。
   • 另外，如果退款发生在受害者死亡后，且其继承人或法定代理人通过法律程序追回了这些款项，那么这些款项在法律上可能被视为受害者的遗产进行分配。但即便如此，其本质仍然是受害者因犯罪行为而遭受的经济损失的补偿，只是由于法律程序的原因而暂时被视为遗产。

4. 法律建议：

   • 对于非吸案受害者或其家属来说，重要的是要了解退款款项的性质和用途，确保这些款项能够用于弥补受害者的经济损失或改善其家属的生活条件。
   • 如果在处理退款款项时遇到任何法律问题或争议，建议及时咨询专业律师以获取准确的法律建议和帮助。

综上所述，非吸案退款给受害者的款项在一般情况下并不算作遗产。如有任何法律问题或需要进一步的法律建议，请随时向我咨询。