交警在没有你违法的情况下，不可以随意扣留你的钥匙。下面我来详细解释一下：

首先，从法律角度来看，交警的执法行为必须严格依法进行。根据相关法律法规，交警在执法过程中，必须有明确的法律依据才能采取相应的强制措施，如扣留车辆、扣留驾驶证或行驶证等。而扣留车钥匙并不属于法律明确规定的强制措施之一。

其次，交警的职责是维护交通秩序，保障道路交通安全。他们有权对交通违法行为进行查处，但必须在法律允许的范围内行使职权。如果你没有违法行为，交警就没有理由扣留你的车钥匙。

最后，如果你在实际生活中遇到了交警无故扣留你车钥匙的情况，你可以向交警部门投诉，要求他们说明扣留的理由，并出示相关的法律依据。如果交警部门无法给出合理的解释和依据，你可以进一步向相关部门反映情况，维护自己的合法权益。

综上所述，交警在没有你违法的情况下，是不可以随意扣留你的钥匙的。如果你遇到了这种情况，可以依法维护自己的权益。