没有直接证据的情况下，一般不能直接认定构成卖淫行为。以下从不同角度为你详细分析：

法律认定角度

在刑事案件中，认定一个人构成犯罪需要达到“事实清楚，证据确实、充分”的标准。证据是认定犯罪事实的基础，没有证据或者证据不足，就无法形成完整的证据链来证明犯罪行为的发生。对于卖淫行为，通常需要有多方面的证据相互印证，比如证人证言（如目击者看到卖淫嫖娼的过程）、物证（如交易记录、相关物品等）、视听资料（如监控录像记录到相关行为）等。如果仅仅是有一些怀疑或者推测，而没有确凿的证据，是不能认定构成卖淫的。

实际案例角度

曾经有这样一个案例，有人举报某场所存在卖淫活动，但警方在调查过程中，没有找到任何直接的证据，如没有抓到现行，也没有找到相关的交易记录或者证人能够明确指认。在这种情况下，警方无法对该场所进行进一步的处罚或者认定相关人员构成卖淫行为。因为法律讲究的是证据，没有证据支撑的指控是不能成立的。

特殊情况说明

不过，也存在一些特殊情况。比如，如果嫌疑人自己承认了卖淫行为，并且有其他一些间接证据能够佐证其陈述的真实性，那么在这种情况下，即使没有直接的物证或者非常明确的证人证言，也有可能认定构成卖淫。但这种情况也是建立在嫌疑人自愿陈述且陈述内容与其他证据相互印证的基础上的。

法律建议：如果你或者身边的人涉及到类似可能被怀疑卖淫的情况，不要惊慌。首先要保持冷静，积极配合相关部门的调查，但同时也要注意保护自己的合法权益。如果认为自己的权益受到了侵害，比如被错误指控等，可以及时向我咨询，我会根据具体情况为你提供专业的法律帮助。