结论：法官在开庭辩论阶段短时不让被告发言，且原告律师和法官曾经是同事关系，这一行为本身并不直接构成违法，但可能引发对审判公正性的合理怀疑，需结合具体情况判断是否违反法定程序或存在其他不当行为。以下从多个角度进行分析：
一、法官限制被告发言的合法性分析
法定程序要求：
- 根据《中华人民共和国刑事诉讼法》及相关司法解释，法庭辩论阶段，控辩双方（在刑事案件中）或原被告双方（在民事案件中）有权就案件事实、证据、法律适用等问题进行辩论。法官应当保障双方充分发表意见的权利，但也有权根据庭审情况，对辩论的时间、顺序等进行合理引导和控制，以确保庭审效率。
- 若法官在辩论阶段短时不让被告发言，但随后给予了合理的补充发言机会，且该限制是基于庭审秩序、效率或案件特殊性的考虑，则可能不构成违法。
可能存在的违法情形：
- 若法官无正当理由，长时间或完全剥夺被告的发言权，导致被告无法充分行使辩论权，则可能违反法定程序，构成程序违法。
- 若法官的限制行为是基于个人偏见、不当关系或其他非法因素，而非基于庭审需要，则同样可能构成违法。
二、法官与原告律师曾经是同事关系的影响分析
回避制度：
- 根据《中华人民共和国法官法》及相关司法解释，法官与案件当事人、诉讼代理人存在利害关系或其他可能影响公正审判的关系时，应当回避。这里的“利害关系”或“其他关系”通常指的是直接的经济利益关系、亲属关系等。
- 原告律师和法官曾经是同事关系，并不直接构成法定回避事由。但若这种关系足以引发对审判公正性的合理怀疑，如双方存在密切的私人交往、经济往来等，则可能构成回避的“其他关系”。
公正审判的保障：
- 即使法官与原告律师曾经是同事关系不构成法定回避事由，法官也应当特别注意保持审判的公正性和中立性，避免任何可能引发合理怀疑的行为。
- 若被告或公众对法官的公正性产生合理怀疑，法官有义务通过公开审判过程、解释决策理由等方式来消除这种怀疑。
三、综合判断与建议
综合判断：
- 仅凭法官在开庭辩论阶段短时不让被告发言，以及原告律师和法官曾经是同事关系这两个事实，无法直接判断法官的行为是否违法。
- 需要结合庭审记录、法官的解释、双方当事人的陈述等证据，综合判断法官的行为是否违反了法定程序、是否影响了审判的公正性。
建议：
- 若被告认为法官的行为违法或影响了审判的公正性，可以在庭审过程中提出异议，要求法官给予合理的解释或纠正。
- 若庭审后仍认为存在违法或不当行为，可以向上一级法院申请复议或提起申诉，寻求法律救济。
- 在整个过程中，建议被告咨询专业律师，以便更好地维护自己的合法权益。
有问题可以直接向我咨询，我会结合你的具体情况，给出更详细的法律分析和建议。