核心结论：未签订书面合同的情况下，耕地转让方要求退还承包方土地租金，能否退还及如何处理需分情况讨论，主要取决于双方是否形成事实合同关系、租金支付依据及实际履行情况等因素。以下分情况具体说明：

1. 若双方已形成事实合同关系（即实际履行了耕地承包行为）
   根据《民法典》第四百六十九条，合同形式包括书面、口头或其他形式。即使未签订书面合同，若双方已实际履行（如转让方交付耕地、承包方支付租金并实际使用耕地），则合同已成立并生效。此时转让方要求退还租金需有合法理由，例如：

   • 承包方存在根本违约（如未按约定用途使用耕地、长期闲置导致土地荒废）；
     
   • 因不可抗力或政策调整导致合同无法继续履行（如耕地被征收、规划变更）；
     
   • 双方协商一致解除合同。
     若转让方无正当理由要求退还租金，承包方有权拒绝；若已退还，承包方可要求返还或主张赔偿损失。

2. 若双方未形成事实合同关系（即未实际履行或履行不符合约定）

   • 若承包方已支付租金但转让方未交付耕地，或耕地存在权利瑕疵（如被抵押、查封），导致承包方无法使用，则转让方构成违约，承包方有权要求退还租金并主张违约责任（如赔偿利息、交通费等实际损失）。
     
   • 若双方仅达成口头意向但未实际履行（如未交付耕地、未支付租金），则合同未成立，转让方无权要求退还“租金”（因租金未实际支付），若已收取预付款或定金，需根据《民法典》第五百八十七条处理：定金可能不予退还（若承包方违约），或双倍返还（若转让方违约）；预付款则应全额退还。

3. 若合同因未采用书面形式被认定无效（特殊情形）
   根据《农村土地承包法》第四十五条，以其他方式承包农村土地的，应当签订书面合同。若未签订书面合同且违反法律强制性规定（如转让方无权处分、耕地用途违法），合同可能被认定无效。此时：

   • 因合同无效取得的财产应当返还，双方需互相返还耕地和租金；
     
   • 若一方有过错（如转让方隐瞒土地权属问题），需赔偿对方因此遭受的损失（如承包方为耕种投入的费用）。

建议行动：

• 承包方应收集证据（如转账记录、聊天记录、耕地使用照片、证人证言等），证明合同履行情况或转让方违约事实；
  
• 优先与转让方协商，明确退还租金的具体理由及金额；
  
• 若协商无果，可向农村土地承包仲裁委员会申请仲裁，或直接向法院起诉，主张合法权益。
  

如有进一步细节（如租金金额、耕地用途、是否涉及第三方等），可直接向我咨询，我会结合具体情形为您分析。