结论：直接去找造谣者理论或采取行动可能并非最佳选择，甚至可能引发更多法律问题。建议通过合法途径来维护自己的权益。

分析：

1. 法律背景：

   • 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。造谣你与他人有不正当关系，显然是对你名誉权的侵害。
   • 同时，如果造谣行为情节严重，还可能构成《中华人民共和国刑法》中的诽谤罪，需要承担刑事责任。

2. 直接找造谣者的风险：

   • 冲突升级：直接去找造谣者理论，可能会引发双方的冲突，甚至导致暴力事件的发生，这不仅不能解决问题，还可能让你陷入更复杂的法律纠纷中。
   • 证据收集困难：在没有合法证据的情况下，直接去找造谣者，可能无法有效地证明其造谣行为，反而可能让对方有机会销毁或隐藏证据。
   • 法律风险：如果采取过激行为，如威胁、恐吓或动手等，你可能因此触犯法律，承担相应的法律责任。

3. 合法途径建议：

   • 收集证据：首先，你应该尽可能地收集造谣者造谣的证据，如聊天记录、录音、视频等。这些证据将是你后续维权的重要依据。
   • 协商解决：在收集到足够证据后，你可以尝试与造谣者进行协商，要求其停止造谣行为，并公开道歉。如果协商成功，可以签订一份书面协议，以确保对方履行承诺。
   • 法律途径：如果协商无果，你可以向法院提起民事诉讼，要求造谣者承担侵权责任，包括赔偿损失、消除影响、恢复名誉等。如果造谣行为情节严重，你还可以向公安机关报案，要求追究其刑事责任。

4. 注意事项：

   • 保持冷静：在整个过程中，你应该保持冷静和理智，不要采取过激行为。
   • 寻求专业帮助：如果你对法律程序不熟悉或感到困惑，可以寻求专业律师的帮助。律师将能够为你提供专业的法律建议和指导，帮助你更好地维护自己的权益。

后续行动建议：

• 立即开始收集造谣者造谣的证据，确保证据的完整性和真实性。
• 尝试与造谣者进行协商，看是否能够达成和解。
• 如果协商无果或造谣行为情节严重，及时向法院提起民事诉讼或向公安机关报案。

在整个过程中，如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询。我将根据你的具体情况，为你提供专业的法律建议和指导。