在没有犯罪的情况下，公安机关不可以随意拿走你的手机。详细分析如下：

1. 执法权限与程序：

   • 公安机关在执行公务时，必须遵循法定程序，且需有合理的理由和相应的法律文书作为支撑，如检查证、扣押清单等。
   • 如果你的手机与正在调查的案件无直接关联，且你并未从事任何违法犯罪活动，那么公安机关无权随意没收你的手机。

2. 公民权利与义务：

   • 作为公民，你有义务配合警方的工作，但同时也有权询问警察的执法依据和相关手续，并在确认无误后按指示行事。
   • 如果你认为警方的行为缺乏合法依据，你有权提出异议，并要求警方说明理由和依据。

3. 后续处理与跟进：

   • 如果你的手机被警方错误地拿走，你应当及时与警方沟通，要求归还手机，并保留好相关证据以备后续可能的法律程序。
   • 如果沟通无果，你可以考虑咨询专业律师，通过法律途径来维护自己的合法权益。

我建议：在面对此类情况时，保持冷静，了解执法依据，配合调查，但同时也要时刻关注自己的权益。如果认为警方的行为不合法或不当，及时提出异议，并寻求法律帮助以维护自身合法权益。如有进一步需要，您可以继续咨询我。