结论：仅他人说你放高利贷，警察不一定会直接查你，是否会调查取决于多种因素。以下分情况详细说明：
- 仅有他人指控，无实质证据
- 如果只是有人口头说你放高利贷，但没有提供任何实质性的证据，比如借款合同、转账记录、利息计算方式等能证明存在高利贷行为的材料，警察一般不会轻易展开调查。因为警察的调查行动需要基于一定的线索和证据，以合理怀疑存在违法犯罪行为为前提。在这种情况下，他人的指控可能只是无端猜测或者恶意诽谤，警察不会随意介入。
- 例如，甲和乙有矛盾，甲为了报复乙，就向警察举报乙放高利贷，但甲拿不出任何能证明乙有高利贷行为的证据，此时警察通常不会对乙进行调查。
- 有初步证据指向可能存在高利贷行为
- 当他人提供了初步的证据，让警察有理由怀疑你存在放高利贷的行为时，警察很可能会展开调查。这些初步证据可以是部分借款记录、证人证言等，虽然这些证据可能还不足以直接认定你构成放高利贷的违法犯罪行为，但足以引起警察的关注。
- 比如，有人向警察提供了你与借款人签订的部分借款合同，合同中约定的利息明显高于法律规定的上限，同时还提供了其他借款人的联系方式，这些借款人也能证实你收取高额利息的情况，那么警察就会启动调查程序，进一步收集证据，以确定你是否真的存在放高利贷的行为。
- 涉及严重后果或群体性事件
- 如果放高利贷的行为引发了严重的后果，比如借款人因为无法偿还高额利息而自杀、家庭破裂，或者涉及的人数众多，形成了群体性事件，引起了社会的广泛关注，那么即使他人只是举报，没有特别充分的证据，警察也会高度重视，迅速展开调查。因为这种情况下，放高利贷的行为已经对社会秩序和公共利益造成了较大的影响，警察有责任及时查明真相，维护社会稳定。
- 例如，某个地区出现了一系列因为高利贷导致的借款人自杀事件，引起了媒体的报道和社会的关注，此时即使对某些被举报人的证据还不充分，警察也会积极调查，以确定是否存在放高利贷的违法犯罪链条。
建议：如果你确实没有放高利贷，面对他人的指控不要惊慌，积极配合警察的调查，提供相关证据证明自己的清白。如果你存在放高利贷的行为，要认识到这是一种违法犯罪行为，可能会面临罚款、没收违法所得等行政处罚，情节严重的还可能构成犯罪，承担刑事责任。建议你及时停止该行为，并咨询我处理相关法律问题。