以租代借买断费是否应该归还，需结合具体合同条款、交易性质及法律规定综合判断，以下分情况说明：

1. 若合同明确约定买断费性质及支付条件
   若双方签订的合同中清晰约定了“以租代借”模式下买断费的支付条件（如租赁期满后支付、特定条件下触发买断等），且该条款不违反法律强制性规定（如不涉及高利贷、欺诈等），则买断费应当按照合同约定履行。此时拒绝支付可能构成违约，需承担违约责任。

2. 若合同存在模糊或显失公平条款
   若合同对买断费的性质、计算方式或支付条件约定不明，或存在显失公平的情形（如买断费远高于实际价值、租赁期与买断费比例严重失衡等），可能触发《民法典》中关于“格式条款无效”或“显失公平可撤销”的规定。此时可通过协商修改合同或向法院申请撤销相关条款，从而免除或减少买断费支付义务。

3. 若交易实质为“名为租赁实为借贷”
   若双方真实意图并非租赁，而是以租赁形式掩盖借贷关系（如买断费实为利息、租赁物未实际交付等），则可能被认定为“虚伪意思表示”。根据《民法典》第146条，隐藏的借贷关系若合法有效，需按借贷规则处理（如支付合理利息）；若借贷关系因违法（如高利贷）无效，则买断费可能无需支付，但需返还本金。

4. 若涉及消费欺诈或强制交易
   若出租方在签订合同时存在欺诈（如虚构租赁物价值、隐瞒关键条款）或强制交易（如以威胁手段迫使承租方接受买断条款），则合同可能被撤销，买断费无需支付。此时可依据《消费者权益保护法》主张赔偿。

行动建议：

• 立即审查合同原文，重点标注买断费条款、支付条件及违约责任；
  
• 收集交易过程中的证据（如沟通记录、付款凭证、租赁物使用情况等）；
  
• 若怀疑合同效力或遭遇不公平对待，可携带材料进一步向我咨询，我将协助分析风险并制定应对方案。