当别人在借贷时留下了你的电话号码，这确实可能会给你带来一些不必要的麻烦。不过，从法律角度来看，如果你只是被误留为联系人，并未在贷款合同上签字或以其他方式明确表示承担还款责任，那么你通常不需要承担任何法律责任。

首先，你需要明确一点：仅仅因为别人留下了你的电话号码，并不意味着你需要为他们的债务负责。如果贷款机构或催款方联系你，你可以向他们说明情况，表明你并不清楚借款一事，也不是借款人，要求他们不要再联系你。

如果催款方的骚扰行为严重影响了你的正常生活，你可以采取以下措施来维护自己的权益：

1. 保留证据：收集所有与骚扰行为相关的证据，如通话记录、短信、邮件等。这些证据在后续处理中可能会起到关键作用。

2. 向运营商投诉：如果你的手机号码被频繁骚扰，你可以向你的手机运营商投诉，并请求他们协助处理。运营商可能会采取一些措施来阻止这些骚扰电话。

3. 向相关部门反映：如果骚扰行为持续不断，你可以向当地的公安机关报案，或者向相关的监管部门反映情况。在报案或反映情况时，提供你收集到的证据，以便相关部门能够更好地了解和处理你的问题。

4. 法律咨询：如果你觉得自己无法处理这个问题，或者担心自己的权益受到进一步损害，你可以寻求专业的法律咨询。律师会根据你的具体情况给出相应的法律建议，并帮助你采取合适的法律措施来维护自己的权益。

最后，为了保护自己的个人信息和避免类似的麻烦，建议你在日常生活中注意以下几点：

• 不要随意将个人信息泄露给不熟悉的人或机构。
• 定期检查自己的信用报告和银行账户，确保没有未经授权的借贷或交易。
• 如果发现自己的个人信息被滥用或泄露，及时采取措施来保护自己的权益。

总之，当别人在借贷时留下你的电话号码时，你无需过于担心。只要明确自己的法律地位，并采取适当的措施来应对骚扰行为，你就能够保护好自己的权益。