结论：第一次开庭未成，法官让原告留下而被告退回，这一行为本身并不直接构成违法，但具体是否合法合规需结合庭审程序、法官指示及被告行为的具体情境来判断。
分析说明：
庭审程序的角度：
- 在庭审过程中，法官有权根据案件进展和庭审需要，对当事人或诉讼参与人发出指示或要求。这些指示或要求通常是为了确保庭审的顺利进行、查明案件事实或保障当事人的诉讼权利。
- 如果法官认为需要单独与原告沟通或询问某些问题，而暂时不需要被告在场，那么让原告留下、被告退回的做法是符合庭审程序的。
法官指示的角度：
- 法官的指示应当明确、合法，并不得侵犯当事人的合法权益。如果法官的指示是基于合理的庭审需要，且没有违反法律规定或损害当事人的权益，那么被告应当遵守。
- 如果被告认为法官的指示存在不当或违法之处，可以在庭审后通过合法途径提出异议或申诉，但在庭审过程中应当遵守法官的指示。
被告行为的角度：
- 被告退回的行为本身，如果是在遵守法官指示的前提下进行的，那么并不构成违法。
- 如果被告未经法官许可擅自离开庭审现场，或者拒绝遵守法官的合法指示，那么可能构成对庭审秩序的扰乱，法官有权根据情节轻重采取相应的法律措施，如警告、训诫、罚款甚至拘留等。
特殊场景：
- 在某些特殊情况下，如被告存在妨碍诉讼的行为（如暴力、威胁、侮辱等），法官为了保障庭审的安全和顺利进行，可能会采取更为严格的措施，包括暂时限制被告的自由或让其离开庭审现场。这种情况下，被告退回的行为也是合法的。
后续行动建议：
- 如果您作为原告或被告，对庭审过程中的任何指示或行为有疑问或不满，可以在庭审后及时与法官沟通或提出书面异议。
- 如果您认为法官的指示或行为存在违法或不当之处，也可以依法向上一级法院或相关监督机构提出申诉或控告。
法律背景：
- 根据《中华人民共和国刑事诉讼法》或《中华人民共和国民事诉讼法》等相关法律规定，庭审过程应当遵循法定程序，保障当事人的诉讼权利，同时维护庭审秩序和司法权威。法官在庭审过程中有权根据案件需要发出指示或要求，当事人应当遵守。
如有更多关于司法行政或办案流程的具体问题，欢迎直接向我咨询。