在双方都不承认存在不正当关系，且没有直接证据（如抓奸在床）的情况下，不能直接判定存在不正当关系，但可以通过其他间接证据或行为模式来推断。以下是从不同角度对此问题的详细分析：

1. 法律证据的角度

在法律上，要证明存在不正当关系（如婚外情），通常需要直接证据，如照片、视频、聊天记录、证人证言等，这些证据能够直接显示双方存在超出正常社交范围的亲密行为。如果缺乏这些直接证据，仅凭双方的否认或没有“抓住现行”，确实难以直接判定存在不正当关系。

然而，法律也允许通过间接证据来推断事实。间接证据是指那些不能单独直接证明案件主要事实，但能与其他证据联系起来，共同证明案件主要事实的证据。例如，如果一方频繁与某人单独外出、深夜聊天、经济往来异常等，这些行为模式可能构成间接证据，用于推断双方存在不正当关系。但需要注意的是，间接证据的证明力相对较弱，需要形成完整的证据链，且法官在判断时会非常谨慎。

2. 行为模式与推断

除了法律证据外，我们还可以从行为模式的角度来分析。如果一方在婚姻关系中表现出异常的行为，如突然改变生活习惯、对伴侣的态度急剧变化、频繁提及某个特定的人等，这些都可能是存在不正当关系的信号。然而，这些行为模式并不能直接作为法律证据，但可以作为进一步调查或沟通的起点。

3. 沟通与协商

在婚姻关系中，如果一方怀疑另一方存在不正当关系，首先应该尝试通过沟通来解决问题。坦诚地表达自己的疑虑和感受，听取对方的解释和看法，有时候能够化解误会，恢复信任。如果沟通无果，或者对方拒绝沟通，那么可以考虑寻求专业的婚姻咨询或法律帮助。

4. 法律后果与建议

• 如果确实存在不正当关系：这将对婚姻关系造成严重的伤害，甚至可能导致离婚。在离婚诉讼中，存在不正当关系的一方可能会面临财产分割上的不利后果，以及精神损害赔偿的请求。
• 如果并不存在不正当关系：那么双方的否认是合理的，应该通过沟通来消除误会，维护婚姻关系的稳定。

建议：

• 如果你怀疑伴侣存在不正当关系，但缺乏直接证据，不要急于下结论或采取过激行动。可以先尝试通过沟通来解决问题。
• 如果沟通无果，或者你需要更专业的帮助，可以考虑咨询专业的婚姻咨询师或律师。他们可以提供更具体的建议和指导，帮助你应对这一困境。
• 在收集证据时，务必遵守法律法规，不要侵犯他人的隐私权或名誉权。非法获取的证据在法律上可能不被认可。

总之，在双方都不承认存在不正当关系且没有直接证据的情况下，不能直接判定存在不正当关系。但可以通过其他间接证据或行为模式来推断，并考虑通过沟通、协商或法律途径来解决问题。如果你有任何具体的法律问题或需要进一步的帮助，请随时向我咨询。