针对您提出的“只退赃不退赔怎么处理”的问题，这主要涉及到非法吸收公众存款罪中的“退赃退赔”情节。以下是我为您提供的详细解答：

首先，我们需要明确“退赃”与“退赔”的含义及区别。在非法吸收公众存款罪的语境下，“退赃”通常指的是犯罪嫌疑人或被告人将其非法所得的财物退还给被害人或司法机关，而“退赔”则更侧重于对被害人因犯罪行为所遭受的损失进行经济上的补偿。

接下来，我们根据相关法律法规来分析这个问题：

1. 法律规定：

   • 根据《刑法修正案(十一)》对刑法第一百七十六条非法吸收公众存款罪的增加规定，以及《最高人民法院关于审理非法集资刑事案件具体应用法律若干问题的解释》的相关规定，我们知道“退赃退赔”在非法吸收公众存款罪中是一个重要的量刑情节。
   • 特别是在提起公诉前积极退赃退赔，减少损害结果发生的，可以从轻或者减轻处罚。

2. 只退赃不退赔的处理：

   • 如果犯罪嫌疑人或被告人只退赃而不退赔，这在一定程度上表明其有一定的悔过表现，愿意退还非法所得，但可能由于经济能力或其他原因，无法完全补偿被害人的损失。
   • 在这种情况下，司法机关在量刑时会综合考虑犯罪嫌疑人或被告人的退赃情况、犯罪情节、社会危害程度以及退赔的可能性等因素。
   • 虽然只退赃不退赔可能无法完全满足从轻或减轻处罚的所有条件，但退赃行为本身仍然是一个积极的因素，可能会在量刑时得到一定的考虑。

3. 实务中的考量：

   • 在司法实务中，如何确定非吸类案件中各共犯人应该退赔的赃款数额是一个复杂的问题。这通常需要根据犯罪嫌疑人或被告人在犯罪中的具体作用、非法所得的数额以及被害人的实际损失等因素来综合判断。
   • 对于只退赃不退赔的情况，司法机关可能会要求犯罪嫌疑人或被告人说明原因，并评估其退赔的诚意和能力。如果犯罪嫌疑人或被告人能够证明其确实无力退赔，但愿意积极退赃并配合司法机关的工作，那么在量刑时可能会给予一定的从宽处理。

4. 建议：

   • 对于犯罪嫌疑人或被告人来说，如果确实存在只退赃不退赔的情况，建议积极与司法机关沟通，说明原因，并表达退赔的意愿和计划。
   • 同时，也可以考虑通过其他方式来弥补被害人的损失，如提供劳务、协助追回其他资产等，以展示其悔过的诚意和积极性。

综上所述，只退赃不退赔在非法吸收公众存款罪中是一个复杂的问题，需要综合考虑多种因素来处理。司法机关在量刑时会根据具体情况进行判断，并给予相应的从宽或从严处理。如果您或您身边的人遇到类似问题，建议及时咨询专业律师以获取更具体的法律建议。