核心结论：若合同明确约定了20%的手续费，且该条款不违反法律强制性规定，商家有权按合同收取；但需结合具体情形判断是否可调整或免除。以下是具体分析：

1. 合同条款的效力

根据《民法典》第465条，依法成立的合同受法律保护，双方应按约定履行义务。若合同中明确约定“退款需支付20%手续费”，且该条款未违反法律、行政法规的强制性规定（如未构成“霸王条款”或显失公平），则商家有权要求顾客支付该费用。

关键点：

• 手续费比例需合理（如行业惯例或与成本匹配），若明显过高（如超过实际损失），可能被法院调整；
• 商家需证明手续费与实际损失（如交易成本、预期利润损失）的关联性。

2. 顾客主张退款的合法性

若顾客退款理由符合法定或约定解除条件（如商品质量问题、服务未达标），商家应退款，但可按合同扣除手续费。若顾客无合法理由单方解除合同，可能构成违约，商家除收取手续费外，还可主张其他损失赔偿。

例外情形：

• 若手续费条款被认定为“格式条款”（如未显著提示顾客注意），且商家未履行说明义务，顾客可主张条款无效；
• 若因不可抗力或商家原因导致合同无法履行，手续费可能被免除或减少。

3. 实务建议

• 商家角度：

  1. 核对合同条款是否合法有效，保留签约证据（如签字文件、电子合同）；
  2. 计算手续费是否与实际损失相当，避免过高被法院调整；
  3. 与顾客协商，说明手续费依据，争取达成一致。

• 顾客角度：

  1. 审查合同条款是否被充分告知，若未提示可主张无效；
  2. 评估退款理由是否合法（如商品瑕疵），若属实可要求减少或免除手续费；
  3. 通过协商或投诉（如12315）解决，必要时起诉。

4. 风险提示

若商家强行扣费且无合法依据，可能面临行政处罚（如市场监管部门查处）或民事诉讼（顾客起诉返还）。建议优先通过协商或调解解决争议，降低法律风险。

总结：合同约定的20%手续费在合法范围内可主张，但需结合具体情形判断是否可调整。如有争议，建议提供合同文本及交易细节，以便进一步分析。