如果不退赔非法吸收的公众存款，可能会面临以下法律后果：

1. 刑事责任加重：

   • 根据《中华人民共和国刑法》第一百七十六条的规定，非法吸收公众存款或者变相吸收公众存款，扰乱金融秩序的，处三年以下有期徒刑或者拘役，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑，并处罚金。
   • 若在提起公诉前积极退赃退赔，减少损害结果发生的，可以从轻或者减轻处罚。反之，如果不退赔，则可能面临更重的刑事处罚，包括更长的刑期和更高的罚金。

2. 民事赔偿责任：

   • 非法吸收公众存款的行为往往会给投资者造成经济损失。根据相关法律规定，犯罪分子除了承担刑事责任外，还需要承担民事赔偿责任，即退赔投资者的损失。
   • 如果不退赔，投资者可以通过民事诉讼途径要求犯罪分子赔偿损失。在民事诉讼中，法院会判决犯罪分子退赔投资者的本金及可能产生的利息等损失。若犯罪分子拒不执行判决，投资者还可以申请法院强制执行，包括查封、扣押、拍卖犯罪分子的财产等。

3. 信用记录受损：

   • 非法吸收公众存款并拒不退赔的行为，会严重影响犯罪分子的个人信用记录。这可能导致犯罪分子在未来的金融活动中受到限制，如难以获得贷款、信用卡等金融服务。
   • 此外，信用记录的受损还可能影响犯罪分子的社会声誉和职业发展，对其个人生活产生长远的不利影响。

4. 可能面临行政处罚：

   • 除了刑事和民事责任外，非法吸收公众存款的行为还可能受到相关行政机关的处罚。例如，金融监管机构可能对犯罪分子或相关机构进行罚款、吊销执照等行政处罚。

建议：

• 如果涉嫌非法吸收公众存款，应尽快退赔投资者的损失。这不仅可以减轻刑事责任，还有助于修复个人信用记录和社会声誉。
• 如果已经面临法律诉讼或行政处罚，应积极配合相关部门的工作，如实陈述事实，提供证据材料，以便尽快解决问题。
• 如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议和指导。