只有通话记录，警察不能直接查出并认定嫖娼人。
首先，通话记录作为电子数据，确实可以作为证据之一，用于辅助证明某些事实。然而，在涉及嫖娼等违法行为的查处中，仅凭通话记录是不足以直接认定嫖娼事实的。
证据要求：公安机关办理案件，无论是刑事案件还是行政案件，都不能只轻信口供，而要重视调查研究。如果仅有通话记录，没有其他客观证据（如支付记录、现场监控、证人证言等）形成完整的证据链条，是不能够直接做出处罚决定的。
行为构成：嫖娼行为的构成需要满足一定的条件，包括双方有明确的性交易意图、发生了性交易行为，并且通常涉及金钱支付。通话记录可能只能证明双方有过某种程度的沟通，但无法直接证明性交易的发生。
法律程序：即使警察根据通话记录对某人产生怀疑，也需要按照法定程序进行调查取证，包括询问当事人、搜集其他证据等。只有在证据确凿、充分的情况下，才能依法对违法行为人进行处罚。
综上所述，只有通话记录是不足以直接查出并认定嫖娼人的。警察在查处嫖娼等违法行为时，需要遵循法定程序，搜集并综合各种证据来形成完整的证据链条，以确保处罚的准确性和公正性。如果你对此类问题有任何疑问或需要进一步的法律帮助，请直接向我咨询。