退款时被要求支付五千元罚款是否合理，需结合具体情况判断，以下分情况说明：

1. 若合同或协议中有明确约定
   若双方在交易前已通过书面合同、用户协议或服务条款明确约定“退款需支付违约金/罚款”，且该条款不违反法律强制性规定（如未超过实际损失的30%），则五千元罚款可能被认定为合理。但需注意：

   • 条款是否以显著方式提示（如加粗、单独说明）；
     
   • 罚款金额是否与商家实际损失成比例（如服务未履行部分的价值）。
     示例：若您预订了价值2万元的婚礼服务，合同约定“提前30天以上退款需支付25%违约金”，则五千元（25%）可能被支持。

2. 若合同无约定或约定无效
   根据《民法典》第五百八十五条，违约金过高时，法院或仲裁机构可依请求调整。若商家无法证明五千元罚款与其实际损失（如已采购的物资、人工成本等）相当，则可能被认定为不合理。此时您可主张：

   • 要求商家提供损失证明；
     
   • 请求法院或仲裁机构调减罚款金额。
     示例：若您仅支付了1000元定金，商家却要求五千元罚款，明显超出其可能损失，法院可能不支持。

3. 若商家存在欺诈或违规行为
   若退款原因是商家未履行合同（如虚假宣传、服务不达标），则您有权要求全额退款，且无需支付任何罚款。此时商家反要求罚款可能构成“加重消费者责任”的格式条款，违反《消费者权益保护法》第二十六条，属无效条款。
   示例：若商家承诺“无效退款”，但实际未提供服务却要求罚款，您可向市场监管部门投诉或起诉。

建议行动步骤：

1. 核查合同/协议中是否有退款罚款条款；
   
2. 要求商家提供罚款金额的计算依据（如损失清单）；
   
3. 若协商无果，可向12315投诉或通过诉讼/仲裁解决。
   

如有进一步细节（如合同条款、退款原因等），可随时向我说明，我会为您具体分析。