结论：退休公职人员4年前的嫖娼行为，在一般情况下，若未被及时发现或举报，且未造成严重社会影响或涉及其他违法犯罪行为，通常不会被追究责任。但需注意，若该行为在之后被发现，且存在特殊情形，仍有可能面临法律后果。
分析说明：
时效性角度：
- 嫖娼行为在我国属于违反治安管理的行为，根据《中华人民共和国治安管理处罚法》的相关规定，违反治安管理行为在六个月内没有被公安机关发现的，不再处罚。这一规定体现了法律对时效性的考量，即对于轻微的违法行为，若经过一定时间未被发现，则不再追究。
- 在您提到的情况下，嫖娼行为已经过去4年，远超过了治安管理处罚法规定的六个月时效期限，因此，从时效性的角度来看，该行为通常不会被追究责任。
特殊情形角度：
- 尽管嫖娼行为本身可能因时效问题而不再被处罚，但若该行为在之后被发现，并且涉及其他违法犯罪行为（如组织、强迫、引诱、容留、介绍卖淫等），或者造成了严重的社会影响，那么相关责任人仍可能面临法律追究。
- 此外，如果嫖娼行为被记录在案，且该记录在之后的某个时间点被用于评估个人的道德品质或职业操守（如公职人员的任用、晋升等），那么该行为仍可能对个人产生不利影响。
公职人员身份角度：
- 作为退休公职人员，虽然已经不在职，但其过去的职业身份可能仍对其社会形象和个人声誉产生一定影响。如果嫖娼行为被曝光，可能会对其个人名誉造成损害，甚至可能引发社会舆论的谴责。
- 同时，如果该行为在退休前被发现，且违反了公职人员的职业道德或纪律规定，那么相关责任人还可能面临党纪政纪的处分。
行动建议：
- 遵守法律法规：无论身份如何，都应严格遵守国家的法律法规，不从事任何违法犯罪行为。
- 维护个人声誉：作为公职人员或退休公职人员，更应注重个人声誉和形象，避免因为不当行为而损害个人和社会的利益。
- 咨询法律专业人士：如果您对某个具体行为是否违法或可能面临的法律后果有疑问，建议及时咨询法律专业人士，以便获得更准确、更全面的法律意见。
后续思考依据：
- 在考虑是否会被追究责任时，除了时效性因素外，还需考虑行为是否涉及其他违法犯罪、是否造成严重社会影响等因素。
- 公职人员的身份可能使其面临更高的道德和职业操守要求，因此即使退休，也应注重个人行为的合规性。
- 法律是不断发展和变化的，对于具体行为的法律评价也可能随着法律条文的修订或司法实践的发展而发生变化。因此，在面临法律问题时，应及时咨询法律专业人士以获取最新、最准确的法律意见。