结论：能否要回租金需分情况讨论，关键在于口头协议的效力认定、租金领取人的身份及行为性质，以及是否存在表见代理等法律情形。以下结合不同情况具体分析：

1. 若租金领取人构成“表见代理”，承包方可能无法直接要回租金

根据《民法典》第172条，表见代理需满足两个条件：

• 相对人（发包方）有理由相信租金领取人有权代收租金（如长期代收、持有承包合同或授权文件等）；
  
• 承包方存在过错（如未明确告知发包方租金领取人无权代收，或未及时收回授权文件）。
  

法律后果：若构成表见代理，发包方支付租金的行为有效，承包方需向租金领取人主张返还，而非发包方。此时需通过民事诉讼要求领取人返还不当得利，但需证明领取人无合法依据占有租金（如无书面授权、超出授权范围等）。

2. 若租金领取人无权代收，承包方可直接要求发包方支付租金

若口头协议明确约定租金由承包方直接领取，或发包方明知领取人无权代收（如领取人非承包方家庭成员、未提供任何授权证明），则领取行为不构成表见代理。

法律后果：

• 承包方可依据《民法典》第469条（口头合同效力）及第577条（违约责任），要求发包方履行支付租金的义务；
  
• 若发包方已将租金支付给无权领取人，承包方可同时起诉发包方和领取人，要求发包方承担违约责任，领取人返还不当得利。

3. 若口头协议存在争议，需通过证据证明承包关系及租金约定

农村土地承包纠纷中，口头协议的效力常因证据不足受挑战。根据《农村土地承包法》第22条，承包合同需书面订立，但口头协议在双方实际履行（如承包方实际耕种土地）且无争议时，仍可能被认定为有效。

关键证据：

• 土地耕种记录（如施肥、播种、收获的凭证）；
  
• 村民或基层组织证言（证明承包关系存在）；
  
• 以往租金支付记录（如领取人代收租金的银行流水、收条等，可间接证明承包关系）。
  

法律后果：若能证明承包关系及租金约定，承包方可依据上述规则主张权利；若证据不足，可能面临败诉风险。

4. 特殊情形：租金领取人涉嫌侵占或诈骗

若领取人通过伪造文件、冒充承包方等手段骗取租金，可能构成《刑法》第270条侵占罪（数额较大且拒不返还）或第266条诈骗罪。

处理方式：

• 承包方可向公安机关报案，追究领取人刑事责任；
  
• 同时提起刑事附带民事诉讼，要求返还租金并赔偿损失。

行动建议

1. 收集证据：优先固定承包关系及租金约定的证据（如证人证言、耕种记录、以往支付凭证）；
   
2. 协商解决：与发包方、领取人沟通，明确租金支付对象，必要时签订书面补充协议；
   
3. 法律途径：若协商无果，可向农村土地承包仲裁委员会申请仲裁，或直接向法院起诉（需明确被告为发包方或领取人，或两者共同被告）。
   

如有进一步细节（如租金金额、领取人身份、协议履行情况等），可提供具体信息以便更精准分析。