只有口供和回忆性证言，纪委一般不能直接认定嫖娼行为。在认定嫖娼等违法行为时，需要遵循严格的证据规则和程序要求。以下是从不同角度对此问题的详细分析：

一、证据规则的角度

1. 证据的充分性：

   • 在刑事案件或行政处罚案件中，证据的充分性是认定事实的关键。仅有口供和回忆性证言，往往不足以单独作为认定嫖娼行为的依据。因为口供和回忆性证言可能受到记忆误差、主观偏见等因素的影响，其真实性、可靠性需要其他证据来佐证。

2. 证据的多样性：

   • 除了口供和回忆性证言外，还需要其他类型的证据来形成完整的证据链。例如，现场勘查记录、物证（如支付记录、通讯记录等）、视频监控资料等。这些证据能够相互印证，形成更加确凿的事实基础。

二、程序要求的角度

1. 调查程序的合法性：

   • 纪委在调查嫖娼行为时，必须遵循合法的调查程序。这包括调查的启动、调查的方式、调查的期限等。如果调查程序存在违法或不当之处，那么所收集的证据可能被视为非法证据，不得作为认定事实的依据。

2. 权利保障的充分性：

   • 在调查过程中，被调查人的权利必须得到充分保障。例如，被调查人有权知道调查的原因和依据，有权进行陈述和申辩，有权申请回避等。如果被调查人的权利受到侵害，那么调查结果的合法性和公正性可能会受到质疑。

三、实践操作的角度

1. 纪委的调查实践：

   • 在实践中，纪委在调查嫖娼行为时，通常会采取多种调查手段来收集证据。除了询问被调查人和相关证人外，还会调取相关物证、视频监控资料等。只有当所有证据相互印证，形成完整的证据链时，纪委才会作出认定。

2. 法律后果的考量：

   • 认定嫖娼行为不仅涉及对被调查人的行政处罚或刑事处罚，还可能对其名誉、职业等产生严重影响。因此，纪委在作出认定时，必须非常谨慎，确保事实清楚、证据确凿。

四、建议与提醒

• 对于被调查人：如果面临纪委的调查，应当积极配合调查工作，如实陈述事实。同时，也有权要求纪委出示相关证据，并有权进行陈述和申辩。
• 对于纪委：在调查过程中，必须严格遵守法律程序和证据规则，确保调查的合法性和公正性。如果证据不足或存在疑问，应当谨慎作出认定。

如果有任何法律问题或需要进一步的法律帮助，可以直接向我咨询。我会根据你的具体情况，提供专业的法律意见和帮助。