商家擅自退回快递，应赔偿消费者因此遭受的损失。具体分析如下：

一. 商家行为构成违约

1. 合同法的应用：根据《合同法》的相关规定，商家和消费者之间通过购买行为形成了合同关系。商家擅自退回快递，未按照约定履行交付商品的义务，构成了违约。
2. 违约责任：由于商家的违约行为，消费者有权要求商家承担违约责任，包括赔偿因此造成的损失。

二. 赔偿范围的确定

1. 直接损失：消费者因商家擅自退回快递而直接遭受的损失，如快递费用、商品差价等，商家应予以赔偿。
2. 间接损失：若消费者因商家违约而产生了其他间接损失，如因等待商品而耽误的使用时间、精神损失等，虽然这些损失可能较难量化，但在法律上，消费者仍有权要求商家进行适当赔偿。

三. 赔偿方式的协商与诉讼

1. 协商：消费者首先可以尝试与商家进行协商，要求商家按照实际损失进行赔偿。若双方能够达成一致，则可签订赔偿协议并履行。
2. 诉讼：若协商无果，消费者可以依法向人民法院提起诉讼，要求商家承担违约责任并赔偿损失。在诉讼过程中，消费者需要提供相关证据以证明自己的损失和商家的违约行为。

我建议，消费者在遇到商家擅自退回快递的情况时，应首先保留好相关证据，如快递单号、购买记录、聊天记录等。然后尝试与商家进行协商，若协商无果，则可以考虑通过法律途径维护自己的合法权益。如有进一步需要，您可以继续咨询我。