若遗赠人不履行遗赠扶养协议，扶养人能要求退还扶养费。以下是详细分析：

一. 遗赠扶养协议的性质与法律效力

• 遗赠扶养协议是遗赠人和扶养人之间关于扶养义务与财产遗赠的约定，具有法律效力。
• 双方都应按照协议履行各自的义务，若任一方未履行，将产生相应的法律后果。

二. 遗赠人不履行协议的法律后果

1. 扶养人的权益保护：

   • 若遗赠人擅自处分协议中约定的财产，或无正当理由不履行协议，导致扶养人无法实现受遗赠权利，扶养人有权要求解除协议。
   • 扶养人在解除协议的同时，可以要求遗赠人补偿已支付的供养费用，即退还扶养费。

2. 法律途径解决：

   • 扶养人可通过向法院提起诉讼来维护自身权益，要求遗赠人退还扶养费。
   • 法院将审查相关证据，并根据实际情况作出公正裁决。

三. 法律依据

• 根据《中华人民共和国合同法》第六十条，当事人应当按照约定全面履行自己的义务。若遗赠人未履行协议，扶养人有权要求其承担违约责任，包括退还扶养费。
• 同时，根据民法的公平原则和诚信原则，遗赠人不履行协议将损害扶养人的合法权益，扶养人有权要求恢复平衡，即要求退还扶养费。

综上所述，若遗赠人不履行遗赠扶养协议，扶养人不仅能要求解除协议，还能要求遗赠人退还已支付的扶养费。这是扶养人依法维护自身权益的正当行为。如有进一步需要，您可以继续咨询我。