退货违约金的处理需根据合同约定、法律规定及具体情形综合判断，以下是核心结论及分情况说明：

1. 合同有明确约定时
   若买卖合同中已约定退货违约金条款（如“买方退货需支付合同总价20%的违约金”），且该条款不违反法律强制性规定（如违约金过高或过低），则违约方需按约定支付。
   例外情形：若违约金明显高于实际损失（如商品未使用且可二次销售），守约方可主张调整；若违约金低于实际损失，可要求增加赔偿。

2. 合同未约定违约金时
   根据《民法典》第五百八十四条，违约方需赔偿守约方因退货产生的实际损失（如运输费、仓储费、商品贬值损失等）。此时需守约方举证损失金额，违约方若认为赔偿过高可申请法院调整。

3. 消费者退货的特殊情形

   • 法定无理由退货（如网购7天无理由退货）：消费者无需支付违约金，但需保证商品完好，否则商家可要求赔偿实际损失（如商品损坏修复费用）。
     
   • 商家违约导致退货（如商品质量问题）：消费者不仅无需支付违约金，还可要求商家承担退货运费及赔偿损失。

4. 违约金与定金的选择适用
   若合同同时约定违约金和定金，守约方只能选择其一主张（如已支付定金，可选择没收定金或要求支付违约金，但不可同时主张）。

建议行动步骤：

1. 检查合同条款，确认违约金约定及计算方式；
   
2. 收集损失证据（如发票、沟通记录、商品现状照片）；
   
3. 若协商无果，可向法院起诉或申请仲裁，主张调整违约金或赔偿实际损失。
   

如有具体合同或纠纷细节，可直接向我咨询，我会结合证据进一步分析。