结论：不可以不去，若不去且公安机关有充分证据证明嫖娼行为，可能会面临拘留等处罚。

分析如下：

1. 关于处罚决定书：

   • 公安机关在作出行政处罚决定后，应当向被处罚人宣告处罚决定书，并当场交付被处罚人；无法当场宣告的，应当在二日内送达被处罚人。如果公安机关未依法交付处罚决定书，这并不影响处罚决定的效力，但被处罚人有权要求公安机关补送或通过其他合法途径获取。
   • 在您的情况下，虽然未收到处罚决定书，但公安机关已经进行了笔录并作出了罚款五千的处罚，这表明处罚程序已经启动。若您对处罚有异议，应通过合法途径提出，而不是选择不去配合公安机关的后续工作。

2. 关于一年后再次被要求去公安机关：

   • 公安机关在办理案件过程中，可能会因为各种原因（如补充证据、进一步调查等）需要再次传唤当事人。这并不意味着之前的处罚决定被撤销或改变，而是案件办理过程中的正常程序。
   • 若您拒绝配合公安机关的传唤，公安机关有权采取强制措施（如拘传）来确保案件的顺利进行。同时，如果公安机关有充分证据证明您的嫖娼行为，且该行为违反了《中华人民共和国治安管理处罚法》的相关规定，那么您可能会面临更严厉的处罚，包括拘留。

3. 关于可能的法律后果：

   • 根据《中华人民共和国治安管理处罚法》第六十六条的规定，卖淫、嫖娼的，处十日以上十五日以下拘留，可以并处五千元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
   • 在您的情况下，如果公安机关能够证明您的嫖娼行为，且该行为不属于情节较轻的情形，那么您可能会面临十日以上十五日以下的拘留，并可能并处五千元以下的罚款（但考虑到之前已经罚款五千，再次罚款的可能性可能较小，具体需根据案件情况判断）。

建议：

• 积极配合：建议您积极配合公安机关的调查工作，按照要求前往公安机关接受询问或提供相关证据。这有助于案件的顺利办理，也可能对您减轻处罚或避免更严厉的处罚有所帮助。
• 了解权利：在配合调查的过程中，您有权了解自己的权利和义务，包括申请回避、陈述和申辩等。如果公安机关的行为侵犯了您的合法权益，您可以通过合法途径提出异议或投诉。
• 寻求法律帮助：如果您对案件的处理结果有异议或担心自己的权益受到侵害，可以及时向我咨询，我会根据您的具体情况提供专业的法律意见和帮助。