在合同纠纷中，能否要求对方的代理人回避，需视具体情况而定，并非一概而论。以下从不同角度为您详细分析：

一、可以要求回避的情形及操作流程

1. 明确回避理由：

   • 若对方代理人与案件存在利害关系，如是一方当事人的近亲属，或与案件结果有直接的经济利益关联，可能影响公正处理案件，此时您可以要求其回避。
   • 若对方代理人存在违反职业道德或法律规定的行为，如私自会见当事人、接受请客送礼等，也可能成为要求回避的理由。

2. 收集证据：

   • 围绕您提出的回避理由，收集相关证据。例如，若以对方代理人与一方当事人有近亲属关系为由申请回避，需提供能证明该关系的材料，如户口本、亲属关系证明等。
   • 若以对方代理人存在不正当行为为由申请回避，需提供交往记录、证人证言等能证明该情况的材料。

3. 及时提出申请：

   • 在知晓回避事由后，应尽快向处理合同纠纷的机构（如仲裁机构或法院）提交书面回避申请。
   • 申请中应清晰阐述回避理由、列出证据，并明确要求对方代理人回避。

4. 等待审查决定：

   • 处理机构收到申请后，会对申请进行审查。若认为理由成立，会决定让对方代理人回避；若认为理由不充分，则驳回申请。
   • 当事人对决定不服的，可根据相关规定申请复议。

二、难以要求回避的情形

1. 无明确回避理由：

   • 若对方代理人与案件无利害关系，且未违反职业道德或法律规定，则难以要求其回避。

2. 证据不足：

   • 若您提出的回避理由缺乏充分证据支持，处理机构可能不会采纳您的申请。

三、法律建议

1. 充分准备：

   • 在要求对方代理人回避前，务必充分准备，明确回避理由并收集相关证据。

2. 遵循程序：

   • 严格按照处理机构规定的程序提出回避申请，确保申请的合法性和有效性。

3. 尊重决定：

   • 无论处理机构是否决定让对方代理人回避，都应尊重其决定，并依法继续参与合同纠纷的处理。

举例说明：假设在合同纠纷中，您发现对方代理人是一方当事人的表兄弟，且该表兄弟在案件处理过程中可能偏袒其亲属。此时，您可以收集能证明该亲属关系的材料，并向处理机构提交书面回避申请。若处理机构认为理由成立，会决定让该代理人回避。

后续行动建议：若您认为对方代理人的行为影响了合同纠纷的公正处理，且符合上述可以要求回避的情形，建议尽快按照操作流程提出回避申请。同时，保持与处理机构的沟通，及时了解申请进展和结果。

如有其他疑问或需要进一步的法律帮助，请随时向我咨询。