如果别人借款时用你的号码作为联系人，而你确实知道是他本人所为，首先你不必过于担心，因为这通常不会直接导致你承担法律责任。但为了更好地保护自己的权益和避免不必要的麻烦，你可以从以下几个方面来考虑和处理：

1. 明确自身角色与责任：

   • 你作为联系人，在法律上并没有直接还款的义务。借款人的还款责任应由其本人承担，除非你作为担保人或共同借款人参与了借款过程。
   • 如果借款人未能按时还款，债权人可能会联系你以获取借款人的信息或尝试通过你联系借款人。但你只需如实告知债权人你与借款人的关系以及你所知道的信息，无需承担还款责任。

2. 与借款人沟通：

   • 你可以尝试与借款人沟通，了解他为何使用你的号码作为联系人，并提醒他这种行为可能给你带来的不便和潜在风险。
   • 如果借款人同意，你可以建议他更改联系人信息，以避免未来可能出现的麻烦。

3. 应对债权人的联系：

   • 如果债权人联系你，你可以礼貌地告知他们你与借款人的关系，并说明你只是作为联系人被提供，没有还款义务。
   • 如果债权人持续骚扰你或对你进行不当威胁，你可以保留相关证据（如通话记录、短信等），并向当地公安机关报案或寻求法律援助。

4. 保护个人信息：

   • 在此过程中，要注意保护自己的个人信息和隐私。不要随意向陌生人透露你的身份证号码、银行账户等敏感信息。
   • 如果发现个人信息被滥用或泄露，应及时采取措施保护自己的权益，如向相关部门投诉或寻求法律帮助。

5. 法律后果与预防：

   • 虽然你作为联系人通常不会承担法律责任，但如果借款人利用你的信息进行欺诈或其他违法行为，你可能会卷入不必要的法律纠纷中。
   • 为了预防这种情况的发生，你可以定期检查自己的信用报告，确保没有未经授权的借款或信用活动。同时，也可以考虑设置手机拦截陌生来电或短信的功能，以减少不必要的骚扰。

总结来说，如果别人借款时用你的号码作为联系人，你只需明确自己的角色与责任，与借款人沟通并提醒其更改信息，妥善应对债权人的联系，保护好自己的个人信息和隐私，并关注可能的法律后果与预防措施。如果你在这个过程中遇到任何问题或需要进一步的法律帮助，可以直接向我咨询。