结论：若对方要告你不正当关系而你没有证据，不必过于恐慌。在法律上，没有确凿证据的情况下，对方很难成功起诉你。不过，你仍需了解相关法律知识，做好应对准备，并考虑采取一些预防措施。

法律背景与解释：

1. 证据的重要性：在法律诉讼中，证据是决定案件胜负的关键因素。没有证据，对方的主张就难以得到法院的支持。因此，如果你确实没有不正当关系，且没有留下任何相关证据，对方起诉你的难度会很大。

2. 不正当关系的法律定义：不正当关系通常指的是违反社会道德或婚姻忠诚义务的关系。然而，在法律上，要证明这种关系存在，需要确凿的证据，如通信记录、照片、视频、证人证言等。

3. 对方的举证责任：在诉讼中，提出主张的一方（即对方）需要承担举证责任。如果对方无法提供足够的证据来支持其主张，法院将不会支持其诉讼请求。

法律建议：

1. 保持冷静，不要自乱阵脚：面对对方的起诉威胁，首先要保持冷静，不要因为恐慌而做出不理智的行为。记住，没有证据，对方很难成功起诉你。

2. 收集并保存自己的证据：虽然你现在没有对方指控的不正当关系的证据，但你可以收集并保存与自己行为相关的证据，如日常行程记录、通信记录等，以证明自己的清白。

3. 咨询专业律师：虽然我在这里给你提供了一些基本的法律建议，但每个案件的具体情况都有所不同。因此，我建议你咨询一位专业的婚姻家庭律师，以便更详细地了解你的法律权益和可能的应对策略。

4. 考虑与对方沟通：如果可能的话，你可以尝试与对方进行沟通，了解其起诉你的具体原因和证据。通过沟通，你可能能够化解误会，避免不必要的法律纠纷。

5. 做好法律应对准备：如果对方确实提起了诉讼，你需要做好法律应对准备。这包括准备相关证据、撰写答辩状、参加庭审等。在这个过程中，一位专业律师的协助将是非常重要的。

可能的法律后果：

• 如果对方无法提供足够的证据来支持其主张，法院将驳回其诉讼请求，你将不会承担任何法律责任。
• 如果对方提供了虚假证据或诬告你，你还可以考虑向法院提起反诉，要求对方承担相应的法律责任。

预防措施：

• 在日常生活中，注意保护自己的隐私和个人信息，避免给他人留下可乘之机。
• 与他人交往时，保持适当的距离和界限，避免引起不必要的误会和纠纷。

总之，面对对方的起诉威胁，你不必过于恐慌。在法律上，没有确凿证据的情况下，对方很难成功起诉你。不过，你仍需了解相关法律知识，做好应对准备，并考虑采取一些预防措施。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。