如果仲裁员与当事人存在以前的代理律师关系，这确实可能构成仲裁程序中的利益冲突，影响仲裁的公正性和独立性，遇到这种情况，可以采取以下措施：

1. 提出回避申请：

   • 根据《中华人民共和国劳动争议调解仲裁法》第三十三条的规定，仲裁员有下列情形之一的，应当回避，当事人也有权以口头或者书面方式提出回避申请：是本案当事人或者当事人、代理人的近亲属的；与本案有利害关系的；与本案当事人、代理人有其他关系，可能影响公正裁决的；私自会见当事人、代理人，或者接受当事人、代理人的请客送礼的。
   • 在您描述的情况下，仲裁员与当事人存在以前的代理律师关系，这明显属于“与本案当事人、代理人有其他关系，可能影响公正裁决的”情形。因此，您有权向劳动争议仲裁委员会提出回避申请，要求更换仲裁员。

2. 提供证据支持回避申请：

   • 在提出回避申请时，您需要提供相关证据来证明仲裁员与当事人之间存在以前的代理律师关系。这可以包括以前的代理合同、律师费支付凭证、案件卷宗材料等。
   • 证据应当真实、合法、有效，能够充分证明仲裁员与当事人之间的关系以及可能影响公正裁决的事实。

3. 关注仲裁委员会的处理结果：

   • 劳动争议仲裁委员会在收到回避申请后，会进行审查并作出决定。如果决定仲裁员回避，会重新指定新的仲裁员继续审理案件。
   • 您需要关注仲裁委员会的处理结果，并确保新的仲裁员能够公正、独立地审理案件。

4. 考虑其他救济途径：

   • 如果仲裁委员会未同意您的回避申请，或者您认为仲裁程序仍然存在不公正的情况，您可以在收到仲裁裁决书后，根据《中华人民共和国劳动争议调解仲裁法》的相关规定，向人民法院提起诉讼，请求撤销仲裁裁决或重新审理案件。

在处理此类情况时，还需要注意以下几点：

• 及时提出回避申请：一旦发现仲裁员与当事人存在可能影响公正裁决的关系，应尽快提出回避申请，以免延误仲裁程序或影响案件结果。
• 保持冷静和理性：在处理此类纠纷时，保持冷静和理性至关重要。避免采取过激行为或言辞，以免对案件处理产生不利影响。
• 寻求专业法律帮助：如果您对仲裁程序或回避申请有疑问或不确定如何处理，可以寻求专业律师的帮助。律师可以为您提供法律咨询、代理申请回避等法律服务。

最后，我建议您在遇到此类情况时，及时与我沟通，我会根据您的具体情况提供更详细的法律建议和帮助。