在没有直接证据的情况下，确实难以直接确认或追究“小三”的法律责任，但这并不意味着完全无法采取任何行动。以下是从不同角度为你详细分析的情况和建议：
一、法律角度
证据的重要性：
- 在法律程序中，证据是认定事实和判决的基础。没有确凿的证据，很难直接证明某人与已婚者存在不正当关系，更难以追究其法律责任。
可能的法律途径：
- 离婚诉讼中的过错认定：如果你正在考虑离婚，并希望因对方的不忠行为而获得更多的财产分割或损害赔偿，那么你需要收集能够证明对方不忠的证据。这些证据可能包括聊天记录、照片、视频、证人证言等。然而，这些证据的收集必须合法，不能侵犯他人的隐私权。
- 重婚罪的认定：如果“小三”与你的配偶以夫妻名义共同生活，可能构成重婚罪。但这也需要充分的证据来证明，如共同居住的证明、公开以夫妻名义活动的证据等。
证据收集的合法性：
- 在收集证据时，必须确保手段合法，不得侵犯他人的合法权益。例如，不能通过非法侵入他人住宅、窃听他人通话等方式获取证据。
二、实际角度
沟通与协商：
- 在没有直接证据的情况下，你可以尝试与你的配偶进行坦诚的沟通，了解其想法和态度，并寻求解决问题的方法。同时，也可以考虑与“小三”进行沟通（如果可能的话），表达你的立场和感受，看是否能够达成某种协议或谅解。但这种方式需要谨慎处理，避免激化矛盾或引发更大的冲突。
寻求专业帮助：
- 如果你觉得自己无法独自应对这个问题，可以考虑寻求心理咨询或婚姻辅导的帮助。专业的心理咨询师或婚姻辅导员可以提供中立的观点和建议，帮助你更好地处理情绪和问题。
保护自己的权益：
- 无论最终决定如何，都要确保保护好自己的权益。这包括了解自己的法律权利、保留相关证据（即使它们可能不足以直接证明不忠行为）、以及在必要时寻求法律援助。
三、建议与提醒
- 保持冷静和理性：在处理这类问题时，保持冷静和理性至关重要。不要因为情绪激动而做出冲动的决定或行为。
- 尊重法律程序：如果你决定通过法律途径解决问题，一定要尊重法律程序，按照法律的规定和要求来行事。
- 关注自己的身心健康：这个问题可能会对你的身心健康造成一定的影响。因此，在处理问题的同时，也要关注自己的身心健康状况，及时寻求必要的帮助和支持。
最后，我想强调的是，虽然在没有直接证据的情况下难以直接追究“小三”的法律责任，但你仍然可以通过合法途径来维护自己的权益和尊严。如果你有任何具体的法律问题或需要进一步的帮助，请随时向我咨询。