结论：对方律师在该法院为特聘调解员，若存在法定回避情形，当事人可以申请该调解员回避；若不存在法定回避情形，则不能申请回避。
分析：
法定回避情形：
- 根据相关规定，特邀调解员（包括特聘调解员）在存在以下情形时应当自行回避，当事人也有权申请其回避：
- 是一方当事人或者其代理人近亲属的；
- 与纠纷有利害关系的；
- 与纠纷当事人、代理人有其他关系，可能影响公正调解的。
- 若对方律师作为特聘调解员存在上述情形之一，当事人可以在调解过程中提出申请其回避。
非法定回避情形：
- 若对方律师作为特聘调解员并不存在上述法定回避情形，即其与当事人或代理人无近亲属关系、与纠纷无利害关系、与其他关系不影响公正调解，则当事人不能仅因其身份为特聘调解员而申请其回避。
申请回避的程序：
- 当事人申请回避时，应当说明理由，并提供相关证据或线索。
- 被申请回避的调解员在法院作出是否回避的决定前，应暂停参与本案工作，除非案件需要采取紧急措施。
- 特邀调解员的回避由调解中心或者法院立案庭负责人决定。
建议：
- 当事人在申请回避前，应仔细审查对方律师作为特聘调解员是否存在法定回避情形。
- 若存在法定回避情形，当事人应及时向法院提出申请，并说明理由，提供相关证据或线索。
- 若不存在法定回避情形，当事人应尊重调解程序，积极参与调解，寻求合理解决方案。
法律背景：
- 法院调解属于审判活动的一部分，因此调解过程中的回避制度适用审判活动的回避规定。
- 回避制度的目的是确保调解的公正性和中立性，保护当事人的合法权益。
可能的法律后果：
- 若当事人无正当理由申请回避，可能会被视为干扰调解程序，影响调解效率。
- 若调解员应当回避而未回避，可能导致调解结果的不公正，当事人可以在后续诉讼中提出异议。
如有任何法律问题或需要进一步的法律建议，请直接向我咨询。