在没有实质性证据的情况下，起诉或指控男方有婚外情行为确实存在困难，但并非完全无解。以下是我的建议：

一. 收集间接证据

• 你可以尝试收集一些间接证据，如短信、通话记录、转账记录等。这些虽然不能直接证明婚外情，但可以作为线索和辅助证据，为后续的调查或起诉提供基础。例如，频繁的通话记录或转账记录可能揭示出男方与小三之间的联系。

二. 观察男方日常行为

• 留意男方的日常行为变化，如是否突然开始频繁加班、出差，或者对手机、电脑等私人物品格外在意，避免让你接触。这些异常行为可能暗示着他在隐瞒某些事情。

三. 合法调查

• 在法律允许的范围内，你可以尝试对男方的社交活动、行踪等进行调查。但务必注意，调查行为应合法合规，不得侵犯他人隐私或触犯法律。例如，你可以通过公开渠道了解男方的社交活动，但不得私自跟踪或窃听。

四. 沟通与协商

• 在掌握一定证据或线索后，你可以尝试与男方进行坦诚的沟通，表达你的疑虑和不满，并寻求解决方案。如果男方承认错误并愿意改正，那么你可以考虑是否给予他改正的机会。

五. 法律途径

• 如果男方拒绝承认错误或不愿改正，并且你掌握了足够的证据来支持你的诉求，那么你可以考虑通过法律途径来维护自己的权益。例如，你可以向法院提起离婚诉讼，并在诉讼中提出男方存在婚外情的指控。但请务必注意，法律程序需要严谨的证据支持，因此在提起诉讼前务必确保你掌握了足够的证据。

我建议，在没有实质性证据的情况下，不要急于采取法律行动。而是应该冷静思考，综合运用各种方法去收集和固定证据，并在法律允许的范围内进行调查。同时，也要保持理智和冷静，不要让情绪左右自己的判断和行为。如有进一步需要，您可以继续咨询我。