结论：一般情况下，过了五年后不会再因该次嫖娼行为被处罚，但也存在一些特殊情况需要注意。
分析如下：
一般情况：超过追诉时效不再处罚
根据《中华人民共和国治安管理处罚法》第二十二条的规定：“违反治安管理行为在六个月内没有被公安机关发现的，不再处罚。前款规定的期限，从违反治安管理行为发生之日起计算；违反治安管理行为有连续或者继续状态的，从行为终了之日起计算。”
嫖娼属于违反治安管理的行为，其追诉时效为六个月。在你描述的情况中，嫖娼行为已经过去了五年，远远超过了六个月的追诉时效，所以从通常的法律适用角度来讲，公安机关不会再因五年前的这次嫖娼行为对你进行处罚。
特殊情况：存在例外情形
虽然一般情况下超过了追诉时效就不再处罚，但也存在一些特殊情况可能导致处罚。例如，如果在嫖娼行为发生后的这五年期间，该行为被公安机关发现了，只是当时由于各种原因没有及时作出处罚决定，那么就不受六个月追诉时效的限制。不过，从你描述“没被处罚就回家了”来看，这种情况存在的可能性相对较小，但也不能完全排除在五年内公安机关已经立案调查等特殊情形。
另外，如果嫖娼行为涉及其他违法犯罪活动，比如组织、强迫、引诱、容留、介绍卖淫等，这些行为可能构成犯罪，而刑事犯罪的追诉时效与治安处罚的追诉时效不同。根据《中华人民共和国刑法》第八十七条规定，犯罪经过下列期限不再追诉：
如果嫖娼行为背后涉及到上述更严重的犯罪行为，且在相应的追诉时效内，那么就有可能被追究刑事责任。但仅就单纯的嫖娼行为而言，过了五年一般是不会再被处罚的。
建议： 如果你后续没有再涉及其他违法犯罪活动，且没有收到公安机关的相关通知，一般不用过于担心会因五年前的嫖娼行为受到处罚。但如果收到了公安机关的传唤或其他通知，建议及时配合调查，并如实说明情况。如果你还有其他疑问或遇到相关法律问题，可以直接向我咨询。