如果有人没有证据却非说你造谣，这确实是一个棘手的情况，但你可以通过以下几种方式来应对：
保持冷静，收集证据：
- 首先，保持冷静是非常重要的。不要因为对方的指责而情绪失控，这样可能会让情况变得更糟。
- 接着，开始收集证据来证明自己的清白。这可以包括聊天记录、邮件、短信、社交媒体帖子等任何可能证明你没有造谣的材料。如果有可能，也可以寻找目击者来为你作证。
与对方沟通，要求道歉或澄清：
- 在收集了足够的证据后，你可以尝试与对方进行沟通。以平和、理性的态度向对方说明情况，并出示你收集到的证据。
- 要求对方公开道歉或澄清事实，以消除对你名誉的不良影响。如果对方愿意配合，这通常是最快捷、最有效的解决方式。
寻求第三方调解或仲裁：
- 如果与对方沟通无果，你可以考虑寻求第三方的帮助。这可以是社区调解委员会、人民调解组织或其他中立的第三方机构。
- 这些机构通常具有专业的调解能力和经验，可以帮助你们双方达成和解，解决纠纷。
考虑法律途径：
- 如果对方的指责已经对你的名誉造成了严重损害，且无法通过上述方式解决，你可以考虑采取法律途径来维护自己的权益。
- 根据《中华人民共和国民法典》的相关规定，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。如果对方的行为构成了名誉权侵权，你可以向法院提起诉讼，要求对方承担侵权责任，包括停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等。
- 在提起诉讼前，建议你咨询专业律师（比如我，刘鑫律师，专注于婚姻家庭、交通事故、刑事辩护等多个领域，包括侵权纠纷），以了解具体的法律程序和可能的结果。
注意保护自己的隐私和安全：
- 在处理这类纠纷时，也要注意保护自己的隐私和安全。不要随意公开自己的个人信息或敏感信息，以免给自己带来不必要的麻烦。
- 如果对方的行为已经构成了威胁或骚扰，你可以考虑向公安机关报案，寻求法律的保护。
面对无端的指责和造谣，保持冷静、收集证据、积极沟通、寻求第三方帮助或考虑法律途径都是有效的应对方式。希望这些建议能对你有所帮助。如果你有任何进一步的疑问或需要法律帮助，请随时向我咨询。