结论：嫖娼倒查打电话要求配合调查时，一般不可以不去，但具体是否必须前往需结合实际情况判断。以下从多个角度为你详细分析：

从法律义务角度

1. 配合调查是公民义务：根据我国相关法律规定，公民有义务配合公安机关的调查工作。当公安机关因嫖娼案件进行倒查，打电话要求你前往配合调查时，从法律层面讲，你应当积极响应并前往。这是公民协助执法机关维护社会秩序、打击违法犯罪行为的基本义务。例如，在一般的治安案件调查中，警方有权要求相关人员协助调查，以查明案件事实真相。
2. 拒不配合可能面临后果：如果拒绝配合公安机关的调查，可能会被视为妨碍公务。根据《中华人民共和国治安管理处罚法》第五十条规定，阻碍国家机关工作人员依法执行职务的，处警告或者二百元以下罚款；情节严重的，处五日以上十日以下拘留，可以并处五百元以下罚款。所以，无正当理由拒不前往配合调查，可能会受到相应的治安处罚。

从实际情况角度

1. 若确实存在嫖娼行为：如果你确实有过嫖娼行为，公安机关打电话要求你配合调查，此时前往接受调查是较为明智的选择。主动配合调查，如实陈述事实，在一定程度上可能会被视为有认罪悔罪表现，在后续的处理中可能会从轻考虑。相反，如果逃避调查，一旦被公安机关通过其他手段找到并强制传唤，不仅会面临更严厉的处罚，还会给自己的生活和工作带来更大的负面影响。
2. 若不存在嫖娼行为：如果你并没有嫖娼行为，公安机关可能是基于某些线索或误会导致打电话要求你配合调查。在这种情况下，你也应该前往配合调查，向公安机关说明情况，提供相关证据证明自己的清白。这样有助于公安机关尽快查明事实，避免不必要的误解和麻烦。如果拒绝前往，可能会让公安机关认为你存在嫌疑，进而采取更进一步的调查措施，如强制传唤等。

从特殊情况角度

1. 存在合理事由无法前往：如果你确实存在一些合理的事由无法在公安机关要求的时间前往配合调查，比如突发重病、不可抗力的自然灾害等，你应该及时与公安机关取得联系，说明情况，并协商确定一个合适的时间前往配合调查。在这种情况下，公安机关通常会根据你的实际情况进行合理安排。
2. 对调查程序有疑问：如果你对公安机关的调查程序存在疑问，比如认为打电话要求配合调查的方式不符合规定等，你可以向公安机关提出质疑，并要求其出示相关的法律文书或说明情况。在确保调查程序合法合规的前提下，再决定是否前往配合调查。

建议：当接到公安机关因嫖娼倒查打电话要求配合调查时，不要惊慌失措，也不要逃避。首先要冷静分析自己的情况，如果存在合理事由无法前往，及时与公安机关沟通；如果没有合理事由，应积极配合调查。如果你对相关法律问题还有疑问，或者需要进一步的法律帮助，可以直接向我咨询。