结论：从法律程序和规定来看，嫖娼行为四年后被要求罚款和拘留存在诸多不合理之处，一般情况下不应再处罚，但需要结合具体情况来应对。以下是具体分析：

从行政处罚的时效性角度

1. 法律规定：根据《中华人民共和国治安管理处罚法》第二十二条规定，违反治安管理行为在六个月内没有被公安机关发现的，不再处罚。这里的“六个月”是行政处罚的追诉时效期限。也就是说，对于嫖娼这类违反治安管理的行为，如果公安机关在行为发生后的六个月内没有发现，之后就不能再对其进行治安管理处罚，包括罚款和拘留。
2. 结合本案情况：您四年前有嫖娼行为，当时投案自首且未被罚款，两年后公安机关才说要罚款和拘留，从时间上看，已经远远超过了六个月的追诉时效期限，从法律层面来说，公安机关不应再对您进行罚款和拘留的处罚。

从自首情节角度

1. 法律规定：依据《中华人民共和国治安管理处罚法》第十九条规定，违反治安管理有下列情形之一的，减轻处罚或者不予处罚，其中就包括主动消除或者减轻违法后果，并取得被侵害人谅解的；出于他人胁迫或者诱骗的；主动投案，向公安机关如实陈述自己的违法行为的等情况。您当时投案自首，属于主动投案并如实陈述自己违法行为的情形，依法应当减轻处罚或者不予处罚。
2. 结合本案情况：既然当时投案自首时公安机关没有进行罚款等处罚，现在时隔两年又提出处罚要求，这与自首情节所对应的法律处理原则是不相符的。

应对建议

1. 与公安机关沟通：您可以主动与提出罚款和拘留要求的公安机关进行沟通，向他们说明嫖娼行为已经超过了行政处罚的追诉时效期限，并且自己当时有投案自首的情节，按照法律规定不应再受到处罚。在沟通时，要保持冷静和理性，以法律条文为依据进行阐述。
2. 申请行政复议：如果与公安机关沟通后，他们仍然坚持要进行罚款和拘留，您可以向上一级公安机关或者本级人民政府申请行政复议。在申请行政复议时，需要提交书面申请，详细说明自己的情况、认为公安机关处罚不当的理由以及相关的法律依据等。
3. 提起行政诉讼：如果对行政复议的结果不满意，您还可以在收到行政复议决定书之日起十五日内或者因不可抗力或者其他正当理由耽误法定申请期限的，自障碍消除之日起十五日内，向人民法院提起行政诉讼，通过司法途径来维护自己的合法权益。

如果您还有其他疑问或需要进一步的帮助，随时都可以向我咨询。