非法吸收公众存款罪与诈骗罪在退赔方面的区别，主要体现在犯罪目的、行为手段、侵犯客体以及退赔的法律依据和实际操作上。以下是对这两者的详细分析：

1. 犯罪目的与退赔意愿

   • 非法吸收公众存款罪：此罪的犯罪目的是通过非法方式吸收公众资金，用于自身的生产经营活动等，以盈利为目的，并无直接非法占有资金的故意。因此，行为人通常有一定的归还意愿，并希望通过后续经营活动盈利来归还所吸收的存款。在退赔时，行为人可能会积极配合，尽力偿还所吸收的资金。
   • 诈骗罪：此罪的犯罪目的是直接以非法占有为目的，通过欺骗手段使被害人产生错误认识并处分财产，从而将财物据为己有。犯罪分子从一开始就没有归还的打算，取得财物后通常会迅速挥霍、转移或用于其他非法活动。因此，在退赔时，诈骗犯罪分子往往缺乏主动退赔的意愿，需要司法机关通过强制手段来追缴赃款赃物。

2. 行为手段与退赔难度

   • 非法吸收公众存款罪：行为人往往以高息回报、虚构项目等手段面向社会不特定对象公开吸收资金，形式上可能给人一种正常投资或借贷的假象。这使得在退赔时，需要梳理清楚资金流向，确定每个投资人的投资金额和应退赔金额，工作相对复杂但并非不可行。
   • 诈骗罪：诈骗手段更为多样化和灵活，可能编造完全不存在的事实，或假冒身份进行行骗。这使得在退赔时，往往难以追踪到赃款赃物的具体去向，增加了退赔的难度。特别是当诈骗犯罪分子将财物挥霍或转移至境外时，退赔工作更是难上加难。

3. 侵犯客体与退赔范围

   • 非法吸收公众存款罪：侵犯的客体主要是国家金融管理秩序和公众存款的安全。退赔时，主要关注的是保护投资人的合法权益，确保他们能够收回投资本金和应得的利息（如果合同中有约定且合法的话）。
   • 诈骗罪：侵犯的客体是公私财物的所有权。退赔时，不仅需要关注被害人的直接经济损失，还需要考虑因诈骗行为导致的其他间接损失（如精神损害等，但通常间接损失在刑事退赔中不予考虑，主要通过民事赔偿途径解决）。不过，在实际操作中，刑事退赔主要关注的是直接经济损失的追回。

4. 退赔的法律依据与实际操作

   • 非法吸收公众存款罪：退赔的法律依据主要是《中华人民共和国刑法》中关于非法吸收公众存款罪的规定，以及相关的司法解释和指导意见。在实际操作中，司法机关会依法追缴赃款赃物，并按照投资人的投资比例进行退赔。
   • 诈骗罪：退赔的法律依据同样是《中华人民共和国刑法》中关于诈骗罪的规定。在实际操作中，由于诈骗犯罪分子的行为往往更加隐蔽和复杂，司法机关需要投入更多的人力物力进行侦查和追缴工作。同时，对于诈骗犯罪分子的财产，司法机关会依法进行查封、扣押、冻结等措施，以确保能够最大限度地追回赃款赃物并进行退赔。

在实际操作中，无论是非法吸收公众存款罪还是诈骗罪的退赔工作，都需要司法机关、投资人或被害人以及相关部门的密切配合和共同努力。司法机关需要依法履行职责，积极追缴赃款赃物；投资人或被害人需要提供必要的证据和信息，协助司法机关开展工作；相关部门也需要提供必要的支持和协助，共同推动退赔工作的顺利进行。

如果你或你身边的人遇到了相关法律问题，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议和帮助。