结论：面对被造谣与他人有不正当关系但无证据的情况，你可以从收集证据、与造谣者沟通、寻求第三方调解、提起民事诉讼以及考虑刑事自诉等多个角度来维护自己的合法权益。

分析说明：

1. 收集证据：

   • 尽管目前没有直接证据，但你可以尝试收集间接证据，如聊天记录、短信、邮件、社交媒体上的评论或转发记录等，这些可能间接证明造谣者的行为。
   • 寻找可能的目击者，他们可能听到或看到造谣者的言论，并愿意为你作证。

2. 与造谣者沟通：

   • 在收集到一定证据后，你可以尝试与造谣者进行沟通，要求其停止造谣并公开道歉。
   • 沟通时，保持冷静和理性，避免情绪化，尽量以书面形式（如邮件、短信）进行，以便留下证据。

3. 寻求第三方调解：

   • 如果与造谣者的沟通无果，你可以考虑寻求第三方调解，如社区调解委员会、人民调解组织等。
   • 调解过程中，你可以出示收集到的证据，要求调解员协助你与造谣者达成和解。

4. 提起民事诉讼：

   • 如果调解无果，你可以向法院提起民事诉讼，要求造谣者承担侵权责任，包括停止侵害、赔礼道歉、赔偿损失等。
   • 在诉讼过程中，你需要提供充分的证据证明造谣者的行为对你造成了损害，如名誉受损、精神痛苦等。
   • 根据《中华人民共和国民法典》的相关规定，人格权受到侵害的，受害人有权依照本法和其他法律的规定请求行为人承担民事责任。

5. 考虑刑事自诉：

   • 如果造谣者的行为严重到构成诽谤罪等刑事犯罪，你可以考虑向法院提起刑事自诉。
   • 刑事自诉需要满足一定的条件，如造谣者的行为必须达到犯罪程度，且你有足够的证据证明其犯罪行为。
   • 根据《中华人民共和国刑法》的相关规定，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。

行动建议：

• 首先，尝试收集所有可能的证据，包括间接证据和目击者证言。
• 其次，与造谣者进行沟通，要求其停止造谣并公开道歉。如果沟通无果，考虑寻求第三方调解。
• 如果调解仍然无法解决问题，你可以向法院提起民事诉讼或刑事自诉（如果满足条件）。
• 在整个过程中，保持冷静和理性，避免采取过激行为，以免给自己带来不必要的麻烦。

后续思考：

• 在处理此类问题时，证据的收集至关重要。因此，在日常生活中，我们应该注意保护自己的隐私和名誉，避免给他人留下造谣的把柄。
• 如果遇到类似情况，及时咨询专业律师（即我本人，封云凯律师，专注于刑事辩护、交通事故、婚姻家庭等多个领域），以便更好地维护自己的合法权益。