在司法行政领域，被告通常不能直接申请更换原告的代理人。这一结论基于以下法律逻辑和实务操作分析：

一、代理关系的法律性质

1. 代理权的来源
   原告的代理人（如律师）是基于原告的授权或法院指定而获得代理权，其法律关系直接绑定于原告本人。被告作为诉讼相对方，无权干预原告对代理人的选择，除非存在法定情形（如代理人与案件存在利害关系需回避）。

2. 诉讼地位的独立性
   原被告双方在诉讼中地位平等但独立，被告的诉讼权利仅限于防御和反驳原告主张，无权主动改变原告的诉讼配置（如代理人、证据等）。

二、被告可采取的合法途径

若被告认为原告代理人存在影响诉讼公正的情形，可通过以下方式间接推动更换：

1. 申请代理人回避

   • 法定情形：若代理人是本案当事人、诉讼代理人的近亲属，或与本案有利害关系（如曾为对方提供法律服务），被告可依据《民事诉讼法》第44条申请其回避。
     
   • 程序：需向法院提交书面申请，说明具体回避事由，由法院审查决定。

2. 向法院提出异议

   • 若代理人存在伪造证据、恶意串通等违法行为，被告可向法院提出异议，要求终止其代理资格。法院将依职权调查，若属实则可能剥夺其代理权。

3. 通过上诉或再审程序

   • 若代理人的不当行为（如隐瞒关键证据）直接影响判决结果，被告可在上诉或再审中主张程序违法，请求撤销原判。

三、实务中的例外情形

在极少数情况下，若原告代理人因健康、丧失行为能力等原因无法继续代理，且原告未及时更换，法院可能依职权通知原告更换代理人。但此情形与被告申请无关，属于法院的主动干预。

四、法律建议

1. 被告方：

   • 聚焦案件实体争议，避免过度关注对方代理人身份。
     
   • 若发现代理人存在违法或违规行为，优先通过书面异议或回避申请解决，而非直接要求更换。

2. 原告方：

   • 选择代理人时应确保其与案件无利害关系，避免因回避问题影响诉讼进程。
     
   • 若需更换代理人，可自行向法院提交授权委托书变更代理权限。

总结：被告无权直接申请更换原告代理人，但可通过申请回避、提出异议等法定程序间接推动。诉讼中应优先以事实和法律为依据，避免因程序争议分散精力。如有进一步疑问，可直接向我咨询房产纠纷、行政纠纷等领域的法律问题。