结论：在非法集资案件中，若已退赔20%且剩余款项已清账，对方要求签署谅解书时，是否签署需谨慎考虑。以下从不同角度为你详细分析：
一、谅解书的法律性质与效力
谅解书，通常是在刑事案件中，被害人或其家属对犯罪嫌疑人或被告人的犯罪行为表示谅解，并出具的一种书面文件。它体现了被害人或其家属的宽容态度，并可能在一定程度上影响犯罪嫌疑人或被告人的量刑。然而，谅解书并不等同于免除犯罪嫌疑人或被告人的全部法律责任，也不意味着你可以放弃追索剩余退赔的权利（如果法律上仍有权追索的话）。
二、签署谅解书前需考虑的因素
剩余退赔权利：
- 你需要明确，签署谅解书是否意味着你放弃了追索剩余80%退赔的权利。如果谅解书中有此类条款，你需要谨慎考虑是否愿意接受。
- 即便签署了谅解书，如果法律上你仍有权追索剩余退赔，你仍可以通过法律途径进行追索。但需注意，谅解书可能在一定程度上影响法院对案件的处理态度。
对方的经济状况与履行能力：
- 考虑对方的经济状况和履行能力。如果对方经济状况不佳，即使你签署了谅解书并保留了追索权，也可能面临执行困难的问题。
- 如果对方有稳定的收入来源或资产，签署谅解书并保留追索权可能是一个相对稳妥的选择。
法律后果与风险：
- 签署谅解书前，你需要了解可能面临的法律后果和风险。例如，如果谅解书内容不合法或存在欺诈、胁迫等情形，你可能有权撤销该谅解书。
- 同时，你也需要考虑签署谅解书后，如果对方未履行承诺，你将如何维护自己的合法权益。
三、建议与操作步骤
咨询专业律师：
- 在签署谅解书前，我建议你咨询专业律师（虽然这里不能直接说“咨询我”，但你可以理解为在实际情况中应寻求专业法律帮助），对谅解书的内容进行审查，确保你的权益得到充分保障。
明确谅解书内容：
- 确保谅解书中明确记载了双方的权利和义务，特别是关于剩余退赔的条款。避免使用模糊或歧义的表述。
保留相关证据：
- 在签署谅解书前，保留好所有与非法集资案件相关的证据，如退赔记录、转账凭证、沟通记录等。这些证据将在后续的法律程序中发挥重要作用。
谨慎签署：
- 在充分了解谅解书的法律性质、效力以及可能面临的法律后果和风险后，再谨慎决定是否签署。不要因一时冲动或对方压力而做出不利于自己的决定。
最后，我想强调的是，在处理非法集资案件时，保持冷静和理性至关重要。不要因情绪或外界压力而做出不理智的决定。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。