结论：被告不能仅因为律师曾做过诉讼法院的书记员就要求其回避。律师是否回避，需依据具体的法律规定和情形来判断，而非单纯基于其过去的职业经历。
分析说明：
回避制度的适用对象：
- 回避制度主要是针对审判人员、书记员、翻译人员、鉴定人等诉讼参与人，在特定情形下需要回避的规定。这是为了确保诉讼的公正性和客观性，防止因个人偏见或利益冲突影响案件的公正审理。
- 律师作为当事人的代理人，并不直接属于回避制度的适用对象。律师的职责是代表当事人进行诉讼活动，维护当事人的合法权益，其职业行为受到法律和职业道德的约束。
律师回避的情形：
- 律师本身并不存在因过去职业经历（如曾做过法院书记员）而需要回避的法定情形。律师的回避通常与案件的具体情况、律师与案件的关系或利益冲突等有关。
- 如果律师与案件存在利害关系，或者可能影响公正代理的其他情形，律师应当自行回避或由当事人申请其回避。但这种情况与律师过去的职业经历无直接关联。
被告要求律师回避的合法性：
- 被告不能仅凭律师曾做过诉讼法院的书记员就要求其回避。这种要求缺乏法律依据，也不符合回避制度的立法目的。
- 如果被告认为律师存在其他应当回避的情形，如与案件有利害关系、可能影响公正代理等，可以向法院提出申请，由法院根据具体情况决定是否准许回避。
法律建议：
- 如果被告对律师的代理行为有异议或担忧，可以通过与律师沟通、了解律师的代理思路和策略等方式来消除疑虑。
- 如果被告确实认为律师存在应当回避的情形，可以向法院提出书面申请，说明理由并提供相关证据，由法院进行审查并作出决定。
- 在整个诉讼过程中，被告应当保持理性，依法行使自己的诉讼权利，不要因对律师的误解或偏见而影响案件的公正审理。
后续行动：
- 被告可以进一步了解回避制度的具体规定和适用情形，以便更好地维护自己的合法权益。
- 如果被告对律师的代理行为仍有疑虑或不满，可以考虑更换律师或寻求其他法律帮助。但在此过程中，应当确保不影响案件的诉讼进程和公正审理。