核心结论：您不必过于担心律师知晓对方律师电话的问题，这通常不会影响您解除委托合同的权利。若您想解除与当前律师的委托合同，可按以下步骤处理：

1. 审查委托合同条款
   首先，仔细阅读您与律师签订的委托合同，重点关注其中关于解除合同的条件、程序及违约责任的条款。若合同中明确约定了单方解除权（如律师严重不称职、未履行合同义务等情形），您可直接依据合同行使解除权，并要求退还部分或全部费用。若合同未明确约定，您仍可依据《民法典》中关于委托合同的规定主张解除。

2. 与律师协商解除合同
   若合同未明确解除条件，或您希望更平和地处理，可主动与律师沟通，说明您对其服务不满意的具体原因（如专业能力不足、沟通不畅、未及时推进案件等），并提出解除合同的请求。律师知晓对方律师电话属于正常执业信息，不会因您解除合同而泄露或滥用，您无需因此顾虑。协商时，可要求律师出具书面解除协议，明确费用结算方式（如按实际工作量退费）及后续义务（如移交案件材料）。

3. 通过律师协会或司法局投诉（若协商无果）
   若律师拒绝解除合同或存在违规行为（如收取费用后未提供服务、虚假承诺等），您可向当地律师协会或司法局投诉，要求调查处理。投诉时需提供委托合同、缴费凭证、沟通记录等证据，以证明律师未履行合同义务。若投诉成立，律师可能面临行政处罚，您也有权要求退费或赔偿。

4. 重新委托律师的注意事项
   解除合同后，若您仍需律师代理离婚案件，建议：

   • 谨慎选择新律师：通过亲友推荐、律师事务所官网等渠道，选择经验丰富、口碑良好的离婚律师；
     
   • 明确合同条款：与新律师签订委托合同时，务必约定服务内容、费用标准、解除条件等，避免再次产生纠纷；
     
   • 及时沟通案件进展：与新律师保持密切联系，定期了解案件动态，确保您的权益得到保障。

温馨提示：离婚案件涉及财产分割、子女抚养等重大利益，建议您在解除合同前，先评估当前律师的不足是否可能影响案件结果。若案件已进入关键阶段（如开庭前），突然更换律师可能增加诉讼风险，需谨慎决策。如有疑问，可直接向我咨询，我会结合您的具体情况提供更详细的建议。