面对被人造谣很严重却没有证据，且对方还追到家门口的情况，首先我要告诉你的是，你应当保持冷静，并明确告知对方其行为已对你的生活造成了干扰，要求其立刻离开。接下来，我可以从多个角度为你提供一些建议：

1. 证据收集：

   • 虽然当前你可能没有直接证据，但可以从多方面入手收集。比如，留意对方造谣时周围是否有目睹情况的证人，尝试与这些证人沟通，看能否请其提供证言。
   • 利用身边的设备，如手机等，对对方可能存在的进一步造谣行为进行录音录像，固定相关场景和对方言论。

2. 向相关部门求助：

   • 你可以向公安机关报案，说明被造谣及对方追到家门口滋扰的情况。公安机关有权展开调查，并通过专业手段收集证据。
   • 你也可以向居委会、村委会等基层组织反映情况，由其从中调解沟通。在调解过程中，也可能获取到对你有利的证据。

3. 法律维权：

   • 若后续证据收集充分，你可以依法追究造谣者的法律责任，维护自身合法权益。这可能包括提起民事诉讼，要求对方停止侵权、赔礼道歉，并赔偿损失。
   • 在民事侵权诉讼中，若因客观原因无法自行收集证据，你还可以申请法院调查取证。

4. 心理调适：

   • 被造谣可能会对你的心理造成一定影响，建议你保持积极的心态，寻求家人、朋友或专业心理咨询师的帮助，以缓解压力。

5. 避免冲突：

   • 在整个过程中，你要尽量避免与对方发生直接冲突。保持冷静和理智，通过合法途径来维护自己的权益。

综上所述，虽然当前你可能没有直接证据来证明对方造谣的事实，但你可以通过多方面收集证据、向相关部门求助以及依法维权等方式来应对这一问题。同时，也要注重自己的心理调适和避免与对方发生冲突。如果你在这个过程中遇到任何法律问题或需要进一步的帮助，请随时向我咨询。