结论：急诊留观医生“撵人”是否合法，不能一概而论，需结合具体情况判断。以下从不同角度进行分析：
一、医生行为的合法性判断
医疗规范角度：
- 急诊留观室主要用于对病情尚未稳定、需要短期观察的患者进行医疗监护。医生根据患者的病情变化和医疗需要，有权决定患者是否继续留观或转至其他科室、病房或出院。
- 如果医生认为患者病情已经稳定，不再需要急诊留观，或者留观室资源紧张，需要为更危急的患者腾出空间，此时医生建议患者离开留观室，是符合医疗规范和资源合理利用原则的。
患者权益角度：
- 患者有权在急诊留观室接受必要的医疗监护和治疗。如果医生未经充分评估，仅凭主观判断就要求患者离开，可能侵犯患者的合法权益。
- 患者有权了解自己的病情和医疗方案，包括是否需要继续留观。医生在建议患者离开时，应充分解释原因，并尊重患者的知情权和选择权。
法律责任角度：
- 如果医生的行为违反了医疗规范或侵犯了患者的合法权益，导致患者遭受损害，医生或医疗机构可能需承担相应的法律责任。
- 例如，如果患者因被“撵走”而错过最佳治疗时机，导致病情恶化或死亡，医生或医疗机构可能面临医疗事故赔偿等法律责任。
二、可能存在的特殊情况
患者病情确实稳定：
- 如果医生经过全面评估，认为患者病情已经稳定，不再需要急诊留观，且患者或家属也同意离开，那么医生的行为是合法的。
留观室资源紧张：
- 在紧急情况下，如留观室资源极度紧张，医生可能需要根据患者的病情严重程度和医疗需要，优先安排更危急的患者留观。此时，医生建议患者离开留观室，也是出于医疗资源合理利用的考虑。
患者或家属不配合治疗：
- 如果患者或家属不配合医生的治疗方案，如拒绝接受必要的检查或治疗，医生可能出于医疗安全和患者利益的考虑，建议患者离开留观室。但这种情况下，医生应充分解释原因，并尽量与患者或家属沟通协商。
三、法律建议
对于患者或家属：
- 如果认为医生的行为不当或侵犯了自己的合法权益，可以要求医生或医疗机构出具书面说明，解释要求离开留观室的原因。
- 可以向医院医务科或卫生行政部门投诉，寻求帮助和解决纠纷。
- 如果因医生的行为导致损害，可以依法追究医生或医疗机构的法律责任。
对于医生或医疗机构：
- 在建议患者离开留观室时，应充分评估患者的病情和医疗需要，确保决策的科学性和合理性。
- 应尊重患者的知情权和选择权，充分解释原因，并尽量与患者或家属沟通协商。
- 应建立健全的医疗纠纷处理机制，及时应对和处理患者或家属的投诉和纠纷。
总结：急诊留观医生“撵人”是否合法，需结合患者的病情、医疗需要、留观室资源情况以及医生的行为是否符合医疗规范等因素进行综合判断。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。