结论前置：异地嫖娼传唤若通过手机号码通知，被传唤人原则上不可以不去，但需分情况讨论传唤的合法性及应对方式。以下从法律程序、传唤类型、法律后果三个角度展开分析：

1. 传唤的合法性需以书面文书为核心依据

根据《公安机关办理行政案件程序规定》第六十七条，公安机关传唤违法嫌疑人时，应当出示传唤证和人民警察工作证件。若仅通过电话、短信等非书面形式通知，且未出示传唤证，该传唤程序存在瑕疵，被传唤人有权要求公安机关补正手续。但需注意：

• 紧急情况例外：若现场发现违法嫌疑人，公安机关可口头传唤，但需在询问笔录中注明原因，并由被传唤人签名确认（《治安管理处罚法》第八十二条）。
• 异地传唤限制：公安机关异地执行传唤时，需通知当地公安机关配合，并使用传唤证（《公安机关办理行政案件程序规定》第一百一十八条）。若未履行此程序，传唤合法性存疑。

建议：若接到电话传唤，可要求对方通过邮寄、传真或电子邮件等方式送达书面传唤证，并核实传唤机关、案由、到案时间等关键信息。

2. 拒不到案的法律后果需分情形判断

若传唤程序合法，被传唤人无正当理由拒不到案，公安机关可依法实施强制传唤（《治安管理处罚法》第八十二条），包括使用手铐、警绳等约束性警械。此外，拒不到案可能被认定为“逃避调查”，导致：

• 从重处罚：根据《治安管理处罚法》第二十条，逃避调查可能成为从重处罚的情节。
• 影响量刑：若嫖娼行为构成犯罪（如组织、强迫卖淫），拒不到案可能被认定为“逃避刑事追究”，影响缓刑或量刑幅度。

例外情形：若传唤程序违法（如未出示传唤证、未通知当地公安机关配合），被传唤人有权拒绝到案，但需通过法律途径主张权利（如申请行政复议或提起行政诉讼），而非直接拒不到案。

3. 应对策略：合法维权与配合调查的平衡

• 核实传唤合法性：要求对方提供传唤证编号、办案民警姓名及警号，并通过拨打当地公安机关官方电话（如110）核实传唤真实性。
• 主动配合调查：若传唤程序合法，建议按时到案并如实陈述，避免因拒不到案被强制传唤或从重处罚。嫖娼行为本身可能面临十日以上十五日以下拘留，可以并处五千元以下罚款（《治安管理处罚法》第六十六条），但配合调查可争取从轻处理。
• 法律救济途径：若认为传唤程序违法或处罚不当，可在收到处罚决定书后60日内申请行政复议，或在6个月内提起行政诉讼（《行政复议法》第九条、《行政诉讼法》第四十六条）。

总结：异地嫖娼传唤若程序合法，被传唤人需按时到案；若程序违法，可通过法律途径维权，但不宜直接拒不到案。建议根据具体情况咨询专业律师，制定应对方案。