如果别人在贷款时留下了您的电话号码，这确实可能给您带来一些不必要的麻烦和困扰。为了取消这个电话号码与贷款之间的关联，您可以按照以下步骤操作：

一、明确情况

首先，您需要确认这个贷款确实是别人以您的名义或者错误地留下了您的电话号码。这可以通过查询相关的贷款记录或者与贷款机构联系来确认。

二、与贷款机构联系

一旦确认了情况，您应该立即与留下您电话号码的贷款机构取得联系。您可以通过电话、邮件或者线上客服等方式与他们沟通。在沟通过程中，请保持冷静和礼貌，并清晰地说明您的问题。

您可以告诉贷款机构：“我发现有人在贷款时错误地留下了我的电话号码，这给我带来了很多不必要的麻烦。我希望能够取消这个电话号码与贷款的关联，请问应该如何操作？”

三、提供证明

贷款机构可能会要求您提供一些证明文件，以确认您确实是这个电话号码的合法使用者，并且与这笔贷款无关。这些证明可能包括您的身份证明、电话号码的归属证明等。请按照贷款机构的要求准备并提供这些证明文件。

四、等待处理

一旦您提供了必要的证明文件，贷款机构会进行核实和处理。这个过程可能需要一定的时间，请您耐心等待。在处理期间，您可以保持与贷款机构的沟通，以便及时了解处理进度和结果。

五、法律途径

如果贷款机构未能及时处理或者您认为您的个人信息被非法使用，您可以考虑通过法律途径来维护自己的权益。您可以咨询专业的律师，了解相关的法律条款和维权途径。

总之，如果别人在贷款时留下了您的电话号码，您应该立即与贷款机构取得联系，并提供必要的证明文件来取消这个电话号码与贷款的关联。同时，您也应该关注自己的个人信息保护，避免类似情况再次发生。