在男方出轨但没有直接证据，但很多人都知道的情况下，你可以从以下几个方面着手应对：

一、协议离婚

如果双方已经就离婚达成共识，可以选择协议离婚。根据《中华人民共和国民法典》第一千零七十六条，夫妻双方自愿离婚的，应当签订书面离婚协议，并亲自到婚姻登记机关申请离婚登记。在离婚协议中，双方可以就子女抚养、财产分割等事项进行协商，以和平方式解决婚姻问题。这种方式相对简便，且能减少双方的对立情绪。

二、诉讼离婚与证据收集

如果无法通过协议方式离婚，或者一方不同意离婚，可以选择诉讼离婚。在诉讼过程中，证据的收集至关重要。尽管没有直接证据，但你可以通过以下方式尝试收集间接证据：

1. 当事人的陈述：详细记录男方出轨的情况，包括时间、地点、涉及人物等，以供法庭参考。虽然这属于单方面陈述，但在结合其他证据时，可能具有一定的证明力。
2. 视听资料与电子数据：尝试获取与男方出轨相关的照片、录像或聊天记录等。这些证据在形式上可能属于间接证据，但结合其他证据，可能形成完整的证据链。例如，如果男方与第三者的聊天记录中包含了暧昧或出轨的内容，这些记录就可以作为证据使用。
3. 证人证言：如果有第三方目击者或知情人士，他们的证言可能作为证据被采纳。请确保这些证人愿意出庭作证，并提前与他们沟通好作证内容。例如，邻居、朋友或同事可能目睹了男方与第三者的不当行为，他们的证言可以成为支持你主张的重要证据。

三、法律程序与权益保护

在诉讼过程中，务必遵循法律程序，尊重法院的判决。同时，也要保护好自己的合法权益，如财产分割、子女抚养权等。以下是一些具体的法律建议：

1. 财产分割：在离婚诉讼中，财产分割是一个重要环节。即使没有直接证据证明男方出轨，法院也会根据双方的实际情况和贡献进行财产分割。但如果你能提供一些间接证据，证明男方在婚姻期间存在过错行为，可能会对财产分割产生一定影响。
2. 子女抚养权：如果双方有子女，子女抚养权也是一个需要重点考虑的问题。法院在判决子女抚养权时，会综合考虑双方的抚养能力、经济状况、子女的生活习惯等因素。你可以通过提供稳定的生活环境、良好的教育条件等证据，来争取子女的抚养权。
3. 精神损害赔偿：如果因男方出轨导致你遭受精神损害，你可以在离婚诉讼中一并主张精神损害赔偿。但这需要综合多种因素由法院判定，包括出轨行为的严重程度、对你造成的精神损害程度等。

四、注意事项

1. 合法取证：在收集证据的过程中，务必确保取证方式的合法性。非法手段获取的证据可能因违法而被排除，无法在法庭上使用。例如，非法侵入他人住宅、非法跟踪、偷拍等行为都是违法的。
2. 保持冷静：虽然发现男方出轨可能会让你感到愤怒和失望，但保持冷静和理智对于有效应对问题至关重要。避免在情绪激动的情况下做出冲动的决定或行为。
3. 寻求专业帮助：如果你在收集证据或应对诉讼过程中遇到困难，可以寻求专业律师的帮助。律师具有专业的法律知识和取证经验，能够为你提供有效的法律建议和取证策略。

面对男方出轨但没有直接证据的情况，你可以通过协议离婚或诉讼离婚的方式来解决婚姻问题。在诉讼过程中，尽管直接证据缺失，但你可以通过收集间接证据来支持自己的主张。请务必遵循法律程序，并在必要时寻求专业律师的帮助。如果你有任何法律问题或需要进一步的法律建议，可以直接向我咨询。