结论：被人造谣且没有当面说、没有证据的情况下，质问对方可能有一定作用，但效果有限，且可能存在一定风险。以下从不同角度为你详细分析：

质问可能带来的积极作用

1. 心理层面：质问对方可以让你表达自己的愤怒和不满，从心理上获得一种宣泄，缓解因被造谣而产生的负面情绪。例如，你直接找到造谣者，严肃地告诉他你知道他在造谣，这种直接的沟通可能会让你感觉自己在主动应对问题，而不是被动承受。
2. 警示作用：如果造谣者并非恶意，可能只是一时口快或者误解，你的质问可能会让他意识到自己的行为给你带来了伤害，从而停止造谣行为。比如，有些人在不了解情况时随意传播不实信息，当你质问他时，他可能会认识到自己的错误并道歉，以后也会更加谨慎。

质问可能存在的风险和局限性

1. 证据问题：由于没有证据，质问对方时，对方可能会否认造谣行为，甚至反咬一口，说你无端指责。在这种情况下，你很难通过质问来证明自己的清白或者让对方承担责任。例如，对方可能会说“我只是随便说说，又没指名道姓，你怎么能证明我说的是你”，这样你就会陷入被动局面。
2. 激化矛盾：如果造谣者是恶意为之，你的质问可能会激怒他，导致他变本加厉地造谣或者采取其他报复行为。比如，一些心胸狭隘的人在被质问后，可能会觉得自己的“权威”受到了挑战，从而编造更多更恶劣的谣言来诋毁你。
3. 法律层面：在没有证据的情况下，质问行为本身很难构成有效的法律维权手段。根据相关法律规定，要追究造谣者的法律责任，需要提供充分的证据证明其存在造谣行为以及该行为给你造成了损害。如果只是口头质问，无法形成有效的证据链，很难在法律上得到支持。

法律建议

1. 收集证据：尽管目前没有证据，但你可以尝试通过其他方式收集证据。比如，寻找听到谣言的证人，让他们出具书面证言；如果谣言是在网络上传播的，可以保存相关的网页截图、聊天记录等。证据是维护自己权益的关键，只有有了充分的证据，才能更好地追究造谣者的责任。
2. 与对方协商：在收集证据的同时，你也可以尝试与造谣者进行协商，要求他停止造谣行为并公开道歉。协商时可以保持冷静和理智，以解决问题为目的，避免情绪化的争吵。如果对方同意协商并履行承诺，可以避免进一步的法律纠纷。
3. 寻求法律帮助：如果造谣行为给你造成了严重的损害，如名誉受损、精神受到伤害等，你可以考虑寻求法律帮助。你可以向公安机关报案，要求他们介入调查；也可以向法院提起民事诉讼，要求造谣者承担侵权责任，赔偿你的损失。在诉讼过程中，你需要提供充分的证据来支持自己的主张。

总之，被人造谣且没有证据时，质问对方要谨慎考虑。建议你优先收集证据，通过合法合理的途径来维护自己的权益。如果你还有其他疑问或者需要进一步的帮助，可以直接向我咨询。