结论：警察通常没有权利仅仅因为一个人没有违法就将其从一个地方赶走，但在某些特定情况下，警察可能基于维护公共秩序、安全或其他法定职责而采取相应措施。
分析说明：
一般原则：
- 在大多数情况下，警察的权力受到法律的严格限制。他们不能随意干涉个人的自由，特别是当个人没有违反任何法律时。警察的主要职责是维护公共秩序、安全和执行法律，而不是随意驱赶无辜的公民。
特定情况下的例外：
- 维护公共秩序：如果某人的行为虽然不违法，但严重干扰了公共秩序，如大声喧哗、阻塞交通等，警察可能会要求其离开该区域以恢复秩序。
- 安全考虑：在紧急情况下，如火灾、地震或其他自然灾害发生时，警察可能会为了公众的安全而要求人们撤离特定区域。
- 执行特定任务：警察在执行某些特定任务时，如搜查、逮捕或保护现场等，可能会要求无关人员离开以避免干扰或危险。
法律程序与权利保障：
- 即使警察认为有必要采取驱赶措施，他们也必须遵循法律程序，并尊重个人的权利。例如，警察不能使用过度武力或侵犯个人的隐私权。
- 如果个人认为警察的行为不当或侵犯了其权利，他们有权向相关部门投诉或寻求法律援助。
特殊场景：
- 在一些特殊场合，如政治集会、体育赛事或大型公共活动，警察可能会根据活动组织者的要求或安全考虑，对进入或留在特定区域的人员进行限制。但这种限制通常需要明确的法律依据，并且应当合理、必要且不过度侵犯个人自由。
行动建议：
- 了解法律：作为公民，了解自己的法律权利和义务是非常重要的。这样，在面对警察或其他执法机构时，你能够更好地保护自己的权益。
- 保持冷静与合作：如果警察要求你离开某个区域，即使你认为自己没有违法，也最好保持冷静并询问原因。如果警察的行为合理且合法，配合他们的要求通常是明智的选择。
- 寻求法律援助：如果你认为警察的行为不当或侵犯了你的权利，不要害怕寻求法律援助。你可以咨询专业律师（比如我，邹洁律师，专注于经济纠纷、离婚财产纠纷、合同纠纷等多个领域），了解你的权利和可行的法律途径。
法律背景：
- 警察的权力通常受到宪法、刑法、治安管理处罚法等相关法律的严格限制。这些法律规定了警察在执行职务时的权限和程序，以及公民在面对警察时的权利和义务。