结论前置：嫖娼是违法行为，无论是否被现场抓获，只要警方掌握确凿证据，涉案人员都可能面临法律的制裁。针对你提出的“警察打电话可以不去吗”的问题，不建议拒绝前往，因为这可能被视为不配合警方调查，进而可能加重处罚或引发其他不利后果。

详细分析：

1. 警方的调查依据：

   • 警方在未现场抓获嫖娼行为的情况下，仍可能通过其他方式掌握证据，如他人指认、举报、调查线索关联或视频监控等。这些证据足以让警方认为你有嫖娼嫌疑，并因此要求你到派出所接受调查。

2. 警察电话通知的性质：

   • 警察打电话通知你到派出所接受调查，通常被视为询问而非传唤。询问不具有强制性，但从法律角度和配合警方工作的角度出发，建议你积极响应并前往。拒绝前往可能被视为不配合调查，进而可能引发更严重的法律后果。

3. 可能的法律后果：

   • 根据《中华人民共和国治安管理处罚法》第六十六条的规定，卖淫、嫖娼的，将面临十日以上十五日以下拘留，并可处五千元以下罚款；情节较轻的，也将面临五日以下拘留或者五百元以下罚款。这意味着，即使嫖娼行为没有被现场抓到，只要有证据证明该行为发生，你仍然可能受到上述法律处罚。

4. 应对建议：

   • 积极配合调查：接到警察的通知后，应积极配合警方的调查工作，如实陈述自己的行为，并提供相关证据。这有助于警方全面了解情况，并可能减轻处罚。
   • 了解法律后果：在接受调查前，应提前了解可能面临的法律后果，以便做出明智的决策。
   • 保护合法权益：在接受调查时，你有权要求警方出示相关证件以证明其身份和调查的合法性；同时，也有权对警方的调查过程进行监督，确保其依法进行。在必要时，可以向我这样的专业律师寻求帮助来维护自己的合法权益。

特殊情况说明：

• 如果你确实存在无法前往派出所的合理理由（如突发疾病、紧急事务等），应及时与警方沟通并说明情况，争取延期或采用其他方式接受调查。但无论如何，都应保持与警方的良好沟通，避免产生不必要的误会或冲突。

总结与提醒：

• 嫖娼是一种严重的违法行为，不仅会对个人声誉和家庭造成损害，还可能面临法律的严厉制裁。因此，我强烈建议你遵守法律法规，远离任何形式的嫖娼行为。如果你有任何法律问题或疑虑，可以直接向我咨询，我会为你提供专业的法律意见和帮助。