如果别人在贷款时未经你的同意使用了你的电话号码作为紧急联系人，并且这给你带来了困扰或损害，你是有权考虑通过法律途径来维护自己的权益的。以下是一些详细的建议和步骤：

一、确认是否构成侵权或骚扰

首先，你需要明确这种使用你的电话号码作为紧急联系人的行为是否构成了对你的侵权或骚扰。如果这种行为导致了你的正常生活受到严重影响，比如频繁的电话骚扰、信息泄露等，那么你可以考虑采取法律行动。

二、咨询专业律师

在决定起诉之前，建议咨询一位专业的律师。律师可以帮助你评估案件的可行性，提供法律建议，并告诉你如何准备和提交诉讼材料。他们还可以代表你与对方进行协商或调解，以寻求更快速的解决方案。

三、准备充分的证据

如果决定起诉，你需要准备充分的证据来支持你的主张。这些证据可以包括但不限于：

1. 通话记录、短信或电子邮件等，证明你的电话号码被用作紧急联系人；
2. 你因此遭受困扰或损害的具体证据，如电话骚扰记录、精神损失证明等；
3. 如果有的话，还可以提供对方未经你同意使用你电话号码的书面或口头证据。

四、提交诉讼并出庭应诉

在律师的指导下，你可以向当地法院提交诉讼材料，并等待法院的受理和审理。在诉讼过程中，你需要按照法院的要求提供证据，并出庭应诉。如果你的主张得到了法院的支持，你可能会获得相应的赔偿或道歉。

五、注意保护个人信息

在整个过程中，你还需要注意保护自己的个人信息。避免将个人信息泄露给不相关的人或机构，以免遭受进一步的骚扰或损害。

六、考虑其他解决方式

除了起诉之外，你还可以考虑其他解决方式。例如，你可以尝试与对方进行协商或调解，以达成双方都能接受的解决方案。或者，你也可以向相关监管机构或行业协会进行投诉，寻求他们的帮助和支持。

综上所述，如果别人未经你的同意使用了你的电话号码作为贷款紧急联系人，并且这给你带来了困扰或损害，你是有权考虑通过法律途径来维护自己的权益的。但在采取任何行动之前，请务必咨询专业律师并准备充分的证据来支持你的主张。