结论：这种情况一般不属于直接违法，但可能涉及侵犯您的个人隐私权或构成骚扰，具体需结合实际情况判断。以下从不同角度为您详细分析：
一、从法律关系角度分析
您与贷款人、银行的关系：
- 您并非贷款合同的当事人，与贷款人之间不存在直接的债权债务关系。
- 银行在贷款过程中，应当严格审核贷款人的信息，包括联系方式等，以确保贷款合同的合法性和有效性。如果银行未经您同意，擅自将您的联系方式作为贷款人的联系方式留存，这可能构成银行对贷款人信息审核不严的责任，但并不直接导致您承担还款责任。
您与骚扰者的关系：
- 如果骚扰者（即要求您联系贷款人还款的人）是银行工作人员，且其行为超出了正常的工作范围，如频繁打扰、威胁等，这可能构成银行对您的骚扰，您有权要求银行停止此类行为，并可能追究银行的法律责任。
- 如果骚扰者是第三方（如催收公司），且他们未经您同意，擅自使用您的联系方式进行催收，这可能构成对您个人隐私权的侵犯，您有权要求第三方停止侵权行为，并可能追究其法律责任。
二、从法律责任角度分析
个人隐私权保护：
- 根据《中华人民共和国民法典》的相关规定，自然人的个人信息受法律保护，任何组织或者个人不得非法收集、使用、加工、传输他人个人信息，不得非法买卖、提供或者公开他人个人信息。
- 如果银行或第三方未经您同意，擅自使用您的联系方式，这可能构成对您个人隐私权的侵犯，您有权要求侵权方停止侵权行为，并可能要求其承担民事赔偿责任。
骚扰行为的法律责任：
- 如果骚扰者的行为构成了对您正常生活的干扰或威胁，如频繁打电话、发短信、上门骚扰等，这可能违反了《中华人民共和国治安管理处罚法》的相关规定，您有权向公安机关报案，要求对骚扰者进行处罚。
三、从实际应对角度分析
与银行沟通：
- 您可以首先与银行联系，说明您并非贷款人，且未同意银行留存您的联系方式作为贷款人的联系方式。要求银行立即停止使用您的联系方式，并删除相关记录。
与骚扰者沟通：
- 如果骚扰者是第三方催收公司，您可以明确告知他们您并非贷款人，且未与贷款人有任何关联。要求他们立即停止对您的骚扰行为，并保留相关证据以备后续维权。
寻求法律帮助：
- 如果银行或骚扰者的行为严重侵犯了您的权益，如持续骚扰、威胁等，您可以考虑寻求法律帮助。可以向我咨询具体的法律途径和维权策略，以维护您的合法权益。
建议：在处理此类问题时，建议您保持冷静，不要与骚扰者发生直接冲突。同时，注意保留相关证据，如通话记录、短信记录等，以便在后续维权过程中提供有力支持。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。