结论前置：在庭审过程中，法官让被告回避是否合法，取决于是否存在法定的回避情形。若存在法定回避情形，法官让被告回避（实际应为法官自行回避或依申请回避）是合法的；若不存在，则不合法。不过，通常庭审中是法官自身存在回避情形时自行回避或依当事人申请回避，而非让被告回避，这里我们理解为探讨法官回避的合法性情形。
一、法官回避的法定情形
与案件当事人的特定关系：
- 如果法官是本案的当事人，或者是当事人的近亲属（如配偶、父母、子女、兄弟姐妹等），应当回避。
- 法官与案件当事人存在其他可能影响公正审判的关系，如长期好友、重大矛盾等，也应当回避。
与案件本身的利害关系：
- 法官本人或其近亲属与案件存在经济利益或其他利害关系，如案件结果可能影响其经济收益或职业发展，应当回避。
- 法官如果曾担任过本案的证人、鉴定人、辩护人、诉讼代理人、翻译人员或勘验人等角色，由于已经对案件有了先入为主的了解或立场，也应当回避。
- 法官接受案件当事人及其受托人的宴请、财物、其他利益，或者参加由其支付费用的活动，视为存在不正当利益联系，应当回避。
- 法官为案件当事人推荐、介绍辩护人、诉讼代理人，或者为律师、其他人员介绍办理本案，干扰正常诉讼秩序，应当回避。
- 法官向案件当事人及其受托人借用款物，产生经济上的依赖或关联，应当回避。
与案件律师的利害关系：
- 法官与本案的诉讼代理人、辩护人有夫妻、父母、子女或者同胞兄弟姐妹等近亲属关系，或者其他可能影响公正审判的关系，应当回避。
其他可能影响公正审判的情形：
- 法官表现出对案件或当事人的明显偏见，不能公正客观地审判案件，应当回避。
- 法官未经批准私下会见本案一方当事人及其代理人、辩护人，或者通过社交媒体发表对案件当事人带有明显倾向性的言论等行为，也可能被视为需要回避的情形。
二、法官回避的法律依据
- 《刑事诉讼法》第二十九条：明确规定了审判人员应当回避的四种情形，包括是本案的当事人或者是当事人的近亲属的、本人或者他的近亲属和本案有利害关系的、担任过本案的证人等角色的、与本案当事人有其他关系可能影响公正处理案件的。
- 《民事诉讼法》第四十四条：同样规定了审判人员应当回避的情形，虽然具体表述与《刑事诉讼法》略有不同，但核心精神一致，即确保审判的公正性和客观性。
三、实际庭审中的操作
- 在庭审过程中，如果法官发现自己存在上述法定回避情形，应当自行回避，即主动提出不再参与本案的审理。
- 当事人及其法定代理人也有权要求法官回避，如果他们认为法官存在可能影响公正审判的情形。
- 法院会对回避申请进行审查，如果认为申请有理有据，会决定法官回避；如果认为申请不成立，会驳回申请，并说明理由。
四、特殊情况说明
- 庭审中通常是法官自身存在回避情形时自行回避或依当事人申请回避，而非让被告回避。被告作为案件的一方当事人，通常不具备让法官回避的法定权利，除非被告能证明法官存在上述法定回避情形。
- 如果法官错误地让被告回避（实际上这种情况几乎不会发生，因为被告不是回避的主体），被告可以提出异议，并要求法院对法官的行为进行审查。
五、建议
- 如果您在庭审过程中遇到法官可能存在回避情形的，可以及时向法院提出回避申请，并说明理由。
- 法院会依法对回避申请进行审查，并作出决定。您应尊重法院的决定，并配合庭审的进行。
如有任何进一步疑问或需要法律帮助，请随时向我咨询。