结论：不可以不去。民警打电话要求配合调查，即使事情已经过去几年且没有第二次违法，也应当积极配合，否则可能面临被强制传唤等法律后果。
分析说明：
配合调查是公民义务：
- 根据我国法律规定，公民有义务配合公安机关的调查工作。这不仅是法律的要求，也是每个公民应尽的社会责任。
- 即使嫖娼行为已经过去几年，且没有再次违法，当公安机关因相关案件需要调查时，公民仍应积极配合，提供必要的协助。
民警打电话的性质：
- 民警打电话要求配合调查，通常意味着公安机关已经掌握了某些线索或证据，需要进一步核实情况。
- 这种情况下，拒绝配合或逃避调查，可能会被视为不配合公安机关工作，甚至可能构成妨碍公务等违法行为。
可能面临的法律后果：
- 如果拒绝配合调查，公安机关有权采取强制措施，如强制传唤等，将当事人带到公安机关进行询问。
- 在极端情况下，如果当事人的行为被认定为妨碍公务或逃避调查，还可能面临行政处罚或刑事处罚的风险。
特殊场景：
- 如果当事人认为民警的电话存在疑问或不确定其真实性，可以要求民警出示相关证件或说明调查的具体原因和目的。
- 在配合调查的过程中，当事人有权要求保护自己的合法权益，如要求律师在场、拒绝非法询问等。
后续建议：
- 积极配合调查：接到民警电话后，应尽快与民警联系，了解调查的具体情况，并按照要求配合调查。
- 保护自身权益：在配合调查的过程中，如果认为自己的权益受到侵害，可以及时向律师或相关部门寻求帮助。
- 遵守法律法规：无论何时，都应遵守国家的法律法规，不从事任何违法活动，以免给自己带来不必要的麻烦和损失。
法律依据：
- 《中华人民共和国治安管理处罚法》第八十二条：需要传唤违反治安管理行为人接受调查的，经公安机关办案部门负责人批准，使用传唤证传唤。对现场发现的违反治安管理行为人，人民警察经出示工作证件，可以口头传唤，但应当在询问笔录中注明。公安机关应当将传唤的原因和依据告知被传唤人。对无正当理由不接受传唤或者逃避传唤的人，可以强制传唤。
如有其他疑问或需要进一步的法律帮助，可以直接向我咨询。