结论：即便自认为“什么也没干”，若被公安机关以嫖娼为由行政拘留三日且未罚款，该处罚决定仍具有法律效力，但可通过行政复议或行政诉讼主张权利。以下从法律定性、处罚依据、救济途径三个维度展开分析：

一、法律定性：嫖娼行为的认定不以“实际发生性行为”为唯一要件

根据《治安管理处罚法》第六十六条，卖淫嫖娼是指以金钱、财物为媒介，发生不正当性关系的行为。司法实践中，公安机关认定嫖娼的构成要件包括：

1. 主观故意：双方就卖淫嫖娼达成合意（如协商价格、服务内容）；
   
2. 客观行为：已着手实施（如进入卖淫场所、支付定金、脱衣准备等），即使未实际发生性关系，仍可能被认定为“情节较轻”的嫖娼行为。
   

关键点：若您与卖淫者已就交易达成一致并实施了准备行为（如进入房间、支付费用），即使因主观放弃或客观原因（如警方查获）未发生性关系，仍可能被认定为嫖娼未遂或情节较轻的嫖娼行为。

二、处罚依据：拘留三日未罚款的合法性分析

1. 处罚幅度：

   • 根据《治安管理处罚法》第六十六条，嫖娼的处罚为十日以上十五日以下拘留，可以并处五千元以下罚款；
     
   • 情节较轻的（如未实际发生性关系、主动停止违法行为等），处五日以下拘留或者五百元以下罚款。
     
   • 您被处以三日拘留且未罚款，属于公安机关根据具体情节作出的“情节较轻”的处罚，符合法律规定。
     

2. 未罚款的合理性：

   • 罚款与拘留是“可以并处”的关系，公安机关有权根据案件情节选择单独适用拘留或并处罚款。
     
   • 若您无前科、认罪态度好、未造成严重后果，公安机关可能酌情不并处罚款。

三、救济途径：若对处罚决定不服，可依法主张权利

1. 行政复议：

   • 自收到处罚决定书之日起60日内，向作出处罚决定的公安机关的上一级机关（如市公安局）申请复议，要求撤销或变更处罚决定。
     
   • 复议机关将重新审查案件事实、证据及法律适用，作出复议决定。
     

2. 行政诉讼：

   • 若对复议结果不服，或直接未申请复议，可自收到处罚决定书之日起6个月内向法院提起行政诉讼，要求撤销处罚决定。
     
   • 法院将全面审查公安机关的处罚程序是否合法、证据是否充分、法律适用是否正确。
     

建议：

1. 若您认为处罚决定存在事实认定错误（如未实施任何准备行为）、程序违法（如未告知权利、未听取陈述申辩）或法律适用错误，可收集相关证据（如现场监控、证人证言、支付记录等），及时申请行政复议或提起行政诉讼；
   
2. 若对法律程序不熟悉，可向我进一步咨询具体操作流程及证据收集要点。