结论：及时更换手机号在一定程度上可以减少被骚扰的可能性，但并不能完全避免。以下从多个角度为你详细分析：

从紧急联系人设置目的角度

银行或贷款机构设置紧急联系人，主要是为了在借款人失联、逾期还款等特殊情况下，能够通过紧急联系人获取借款人的相关信息或联系上借款人，以保障其债权的安全。当你作为紧急联系人被留存信息后，即便你更换了手机号，如果银行或贷款机构之前已经记录了你旧手机号与你的关联信息，在一段时间内，他们可能仍会尝试通过旧手机号联系你。不过，随着时间推移，若他们无法通过旧手机号联系到你，且没有其他途径获取你的新联系方式，后续骚扰的可能性会逐渐降低。

从银行或贷款机构操作规范角度

正规的银行或贷款机构在联系紧急联系人时，应当遵循一定的规范和流程。他们通常不会频繁、恶意地骚扰紧急联系人。但如果遇到一些不规范的机构，即便你更换了手机号，他们可能会通过其他渠道，如查询公开信息、联系借款人其他亲友等方式，间接获取你的新联系方式，从而继续进行骚扰。不过这种情况相对较少，且这种不规范行为本身是违法的，你可以通过合法途径维护自己的权益。

从法律责任角度

作为紧急联系人，你本身并没有为借款人的债务承担还款责任的法律义务。如果银行或贷款机构频繁骚扰你，干扰了你的正常生活，你可以采取以下措施：

1. 明确告知对方停止骚扰：当接到相关电话时，严肃地告知对方你只是紧急联系人，没有义务为借款人还款，要求他们停止对你进行骚扰。
2. 保留证据：记录下骚扰的电话号码、通话时间、通话内容等信息，这些证据在后续维权时会起到重要作用。
3. 向相关部门投诉：如果对方仍然继续骚扰，你可以向银行或贷款机构的监管部门，如银保监会等进行投诉，反映情况，要求他们介入处理。
4. 寻求法律帮助：若骚扰行为严重影响到你的生活，你可以向法院提起诉讼，要求对方停止侵害、赔礼道歉，并赔偿因骚扰给你造成的损失。

建议：如果你不想再被此类事情困扰，除了更换手机号外，还可以主动联系银行或贷款机构，说明你与借款人的关系以及你作为紧急联系人的意愿，要求他们将你的信息从紧急联系人名单中移除。如果后续仍然遇到骚扰问题，随时向我咨询，我会为你提供专业的法律支持。