无法简单判断非法公众集资罪和诈骗罪哪一个退赔受害人比较多，因为退赔金额主要取决于犯罪所得、追缴情况、被害人损失以及具体的法律规定，而非罪名本身。下面我为你详细分析这两个罪名的退赔情况：

1. 非法公众集资罪的退赔情况：

   • 非法公众集资罪涉及的是未经批准向社会公众筹集资金，扰乱金融秩序的行为。
   • 在案件侦破后，司法机关会尽力追缴违法所得，并根据实际情况返还给被害人。
   • 退赔金额受犯罪所得总额、追缴难易程度及被害人损失情况的影响。

2. 诈骗罪的退赔情况：

   • 诈骗罪则是以非法占有为目的，通过虚构事实或隐瞒真相的方法骗取公私财物的行为。
   • 在诈骗罪中，如果犯罪分子能主动退赃或退赔，可能会在量刑时得到从轻考虑。
   • 退赔金额同样取决于犯罪所得、犯罪分子的经济状况以及被害人的实际损失。

综上所述，无论是非法公众集资罪还是诈骗罪，退赔受害人的金额都不是由罪名本身决定的，而是受到多种因素的影响。因此，无法直接判断哪一个罪名下的退赔金额会更多。如果你或你身边的人遭遇了这类问题，建议尽快寻求专业法律帮助，以便更好地维护自身权益。