一审时，所有人到了现场，只有被告人被安排视频庭审，这种情况是否合法，需结合具体情形来判断。
合法情形
被告人同意且符合条件：
- 根据《人民法院在线诉讼规则》等相关规定，如果被告人同意采用视频方式参与庭审，并且法院认为采用视频方式不会影响庭审的公正性和效率，同时符合技术条件（如网络稳定、设备正常等），那么法院可以安排被告人通过视频方式参与庭审。这种情况下，即使其他当事人或诉讼参与人到了现场，被告人被安排视频庭审也是合法的。
特殊情况下的必要安排：
- 在某些特殊情况下，如被告人因健康原因无法到场，或者存在其他合理理由导致被告人无法亲自出庭，法院可能会考虑采用视频方式让被告人参与庭审。这种情况下，只要法院认为视频庭审能够保障被告人的诉讼权利，并且符合相关法律规定，那么这种安排也是合法的。
不合法情形
未经被告人同意：
- 如果被告人没有同意采用视频方式参与庭审，而法院却擅自安排被告人通过视频方式出庭，这可能违反了被告人的诉讼权利。被告人有权亲自出庭参与庭审，这是其诉讼权利的重要组成部分。未经被告人同意，法院不得擅自改变庭审方式。
不符合技术条件或影响庭审公正性：
- 如果采用视频方式参与庭审存在技术问题（如网络不稳定、设备故障等），或者可能影响庭审的公正性和效率（如视频画面不清晰、声音断断续续等），那么法院不应该安排被告人通过视频方式参与庭审。这种情况下，即使被告人同意，这种安排也可能被视为不合法。
建议与后果
- 对于被告人：如果对法院安排的视频庭审有异议，应及时向法院提出，并说明理由。如果认为视频庭审影响了自己的诉讼权利，可以要求法院重新安排庭审方式。
- 对于法院：在安排视频庭审时，应充分考虑被告人的意见和庭审的公正性、效率性。如果未经被告人同意或者不符合技术条件而安排视频庭审，可能会面临被告人的异议或者上诉，甚至可能影响案件的公正判决。
如果有任何法律疑问或需要进一步的法律帮助，可以直接向我咨询。我会根据你的具体情况，提供专业的法律意见和帮助。