如果别人在你不知情的情况下将你的手机号作为借款联系人，这确实会给你带来不必要的困扰和潜在风险。不过，你无需承担法律责任，但应积极采取措施来保护自己的合法权益。以下是一些详细且具体的建议：

一、及时与借款机构沟通

1. 表明立场：当你接到借款机构的相关通知或催收电话时，应立即表明你对借款事宜并不知情，既非借款人也不是担保人，只是被擅自填写了联系方式。
2. 要求停止打扰：明确要求借款机构停止不必要的打扰，并记录好沟通的时间、人员、内容等信息，以备后续需要。

二、保留相关证据

1. 联系记录：保存所有与借款机构的联系记录，如电话录音、短信、邮件等，这些都能证明你在不知情的情况下被卷入借款事件，并已积极沟通澄清。
2. 其他证据：如果可能，收集能证明你与借款行为无关的证据，比如与借款人在借款时间前后的聊天记录，或者你在该时间段内的行程证明等。

三、联系借款人要求更正

1. 表达不满：与填写你手机号的借款人取得联系，明确表达你的不满和担忧，要求其立即更正联系人信息。
2. 告知后果：告知借款人，此行为可能对你的信用记录和声誉造成不良影响，甚至可能引发法律纠纷，要求其尽快与借款机构沟通更改。

四、向金融机构或贷款公司解释情况

1. 主动联系：如果借款人不愿意合作或无法联系到他们，你应主动联系相关的金融机构或贷款公司。
2. 提供证据：解释情况并提供证据证明手机号码被错误使用，他们可能会要求你提供身份证明和手机号码归属权证明。
3. 要求删除：一旦确认，金融机构或贷款公司应从借款人联系方式中删除你的手机号码。

五、向监管部门投诉

1. 投诉条件：如果借款机构在你多次表明情况后仍持续骚扰，影响你的正常生活，你可以向相关金融监管部门投诉。
2. 投诉渠道：涉及银行贷款可向银保监会投诉，网贷平台可向当地金融监管局反映情况。
3. 投诉内容：投诉时详细说明事情经过和现状，并提供所保留的证据。

六、考虑法律途径

1. 法律咨询：若骚扰行为严重影响你的生活质量，造成精神痛苦或经济损失，你可以咨询律师，了解通过法律途径维权的具体步骤和可能性。
2. 提起诉讼：你可以以侵犯个人信息权益、干扰正常生活等为由向法院提起诉讼，要求借款机构停止侵权行为并赔偿损失。

七、额外建议

1. 保持冷静：在整个过程中，保持冷静和理智，不要因为情绪激动而做出不理智的行为。
2. 持续保留证据：持续保留所有相关证据和记录，以备后续可能出现的纠纷或法律诉讼。
3. 寻求帮助：如果问题无法通过协商解决，你可以考虑向通信管理局或消费者权益保护机构投诉，或者寻求其他法律帮助。

通过以上措施，你可以有效地应对因他人擅自将你手机号作为借款联系人所带来的问题，保护自己的合法权益不受侵害。